2011-07-05 43 views
0

我做了一個webcrawler,並且我想將我的下載程序代理的名稱設置爲網站知道誰正在訪問他們的內容,並且也按照名稱來跟蹤robots.txt規則。我如何使用HttpURLConnection在Java中設置我的下載器代理的名稱?

我該怎麼做?

+0

嗯,問題是不完全清楚,但你基本上是問如何設置'User-Agent'請求頭? – BalusC

+0

嗯,是的。我想給它一個名字,並且這些網站知道那不是Firefox,Chrome或者是一個瀏覽器,而是一個機器人,我的機器人。有一些標準可以使用? –

回答

相關問題