如何知道HTTP請求是否是BOT

Question

我正在尋找BOTS的用戶代理（爬蟲，蜘蛛，twitter機器人等）的完整列表。

你知道嗎？

感謝

Answer 1

長話短說：你不能，沒有銀彈。任何機器人都可以將他們的user-agent字符串設置爲'googlebot'到'spamalot'之間的任何內容。

你可以親自看到它，你需要做的就是去Shinnok指出的第一個站點，並開始計算那裏列出的所有那些Googlebot/2.X機器人。你阻止他們，他們改變機器人的名稱爲隨機亂碼等。最後，您最終會得到一個10k的機器人列表，當您嘗試驗證它們是否是機器人時，會減少用戶的加載時間。

Answer 2

查看該列表： http://www.botsvsbrowsers.com/category/1/index.html

它包含的4768個機器人用戶代理的總數。

完成機器人檢測的另一種方法是以白名單的方式使用反向方法，即檢查用戶代理是否不是機器人，那麼其他任何東西都是機器人。 :-)

要編譯非bot用戶代理的完整列表，您可以使用列表http://www.user-agents.org/和http://www.botsvsbrowsers.com/。