我做了一個webcrawler,並且我想將我的下載程序代理的名稱設置爲網站知道誰正在訪問他們的內容,並且也按照名稱來跟蹤robots.txt規則。我如何使用HttpURLConnection在Java中設置我的下載器代理的名稱?
我該怎麼做?
我做了一個webcrawler,並且我想將我的下載程序代理的名稱設置爲網站知道誰正在訪問他們的內容,並且也按照名稱來跟蹤robots.txt規則。我如何使用HttpURLConnection在Java中設置我的下載器代理的名稱?
我該怎麼做?
只需使用URLConnection#setRequestProperty()
設置User-Agent
請求標頭。在HttpURLConnection
這就是默認爲java/xxx
其中xxx
是版本號。
例如
connection.setRequestProperty("User-Agent", "RenatoBot/1.0");
設置用戶代理的值與addRequestProperty頭或調用setRequestProperty
http://download.oracle.com/javase/1.4.2/docs/api/java/net/URLConnection.html#addRequestProperty(java.lang.String,java.lang.String中)
嗯,問題是不完全清楚,但你基本上是問如何設置'User-Agent'請求頭? – BalusC
嗯,是的。我想給它一個名字,並且這些網站知道那不是Firefox,Chrome或者是一個瀏覽器,而是一個機器人,我的機器人。有一些標準可以使用? –