1
我需要更改每個已爬網域的用戶代理字符串。我使用標準的Nutch抓取實用程序代碼，它每次抓取一個域。它正在以多線程模式啓動以抓取許多域。我需要傳遞給域字符串[botname] + domainID，但我不確定如何實現它？Nutch 1.3：更改用戶代理
A
回答
1
由於用戶代理顯示在配置文件（nutch-site.xml）中，所以不可能爲某個域更改該用戶代理。
我建議您爲要抓取的每個域創建一個nutch實例。在每個實例中，您可以設置與要抓取的域匹配的url-filter，種子網址和用戶代理。
這應該允許您使用自定義設置執行每個爬網。
乾杯法力值
相關問題
- 1. 更改用戶代理在python代理
- 2. 更改iPhone用戶代理？
- 3. 更改Phonegap用戶代理
- 4. 更改用戶代理好
- 5. 更改用戶代理
- 6. 更改Servlet用戶代理
- 7. 安裝Nutch 1.3和Solr 3.1
- 8. 安裝Nutch 1.3和Hadoop
- 9. 更改用戶代理使用PHP
- 10. 在OSMDroid中更改用戶代理
- 11. Chrome用戶代理不會更改
- 12. NSMutableURLRequest不尊重用戶代理更改
- 13. 更改用戶代理字符串
- 14. 更改Scrapy /飛濺用戶代理
- 15. 如何更改Windows Phone用戶代理
- 16. 在QWebEngineView中更改用戶代理
- 17. 多次更改用戶代理
- 18. HTMLUnit：更改用戶代理字符串
- 19. JQuery Ajax請求：更改用戶代理
- 20. NSMutableURLRequest中的用戶代理未更改
- 21. 如何更改用戶代理？
- 22. 更改用戶代理體現
- 23. 更改用戶代理WebBrowser對象C＃
- 24. 如何更改HttpServletRequest的用戶代理？
- 25. 在php.ini中更改用戶代理
- 26. Scrapy：同步用戶代理更改與IP地址更改
- 27. 從nutch 1.3中的crawldb中刪除url？
- 28. 簡單的Nutch 1.3/Solr索引解釋
- 29. 在nutch 1.3中重新抓取網址
- 30. nutch 1.3中的topN是什麼？