是否有已知的網絡爬蟲列表？

Question

我正在嘗試爲Web服務器上的某些文件獲取準確的下載編號。我看用戶代理，有些很明顯是殭屍程序或網絡爬蟲，但很多人對於很多我不確定，他們可能或可能不是網絡爬蟲，他們造成許多下載，所以知道這一點很重要。

是否有某處有知識的網絡爬蟲列表與用戶代理，IP，行爲等一些文檔？

我對谷歌，雅虎或微軟等官方用戶不感興趣。這些人一般都很好，並且自我認定。

Answer 1

我使用http://www.user-agents.org/通常作爲參考，希望這可以幫助你。

您也可以嘗試http://www.robotstxt.org/db.html或http://www.botsvsbrowsers.com。

Answer 2

http://www.robotstxt.org/db.html是一個很好的開始。如果您也需要這種飼料，他們還有一個可自動生飼料。 http://www.botsvsbrowsers.com/也有幫助。

Answer 3

不幸的是，我們發現機器人活動太多，而且各種各樣，以便能夠精確地過濾它。如果你想要準確的下載次數，你最好的選擇是要求javascript來觸發下載。這基本上是唯一能夠可靠地過濾機器人的東西。這也是爲什麼現在所有網站流量分析引擎都是基於javascript的。

Answer 4

我在https://github.com/monperrus/crawler-user-agents/上維護着一個履帶的用戶代理模式列表。

它是協作式的，你可以通過拉請求來做出貢獻。