Google網頁抓取機器人會遇到什麼HTTP簽名？

Question

對於所有可用的HTTP數據，

您認爲Google的搜索引擎機器人有什麼「標誌」？

Answer 1

How to verify googlebot - 官方的方法。

Answer 2

據我所知，Google的抓取工具已將用戶代理設置爲「Googlebot」。

其他搜索引擎提供商通常在用戶代理中粘貼一個可識別的名稱;有許多知名代理商的名單，例如http://www.jafsoft.com/searchengines/webbots.html。

Answer 3

的User-Agent頭應該足以檢測谷歌機器人

退房user-agents.org網站獲得知名本身殭屍

的名單中，你想要確保這是從一個真實的Googlebot谷歌，那麼你就可以檢查出的IP /主機這始終是

C [NN] .googlebot.com

其中[nn]是一個數字。

Answer 4

那麼，我不太確定如何維護它是做IP地址的DNS反向查找。我只會這樣做，如果你擔心欺騙谷歌的用戶代理字符串，這是不太可能的。正如文章指出的那樣，它也可以被欺騙。

你最好只匹配其已知的用戶代理：

Regex.IsMatch(ua, @"googlebot|mediapartners-google|adsbot-google", RegexOptions.IgnoreCase);