如何只允許谷歌，MSN /雅虎機器人在.htaccess訪問

Question

我需要幫助，只允許谷歌機器人和雅虎/ MSN機器人通過.htaccess訪問我的網站。任何幫助不勝感激。

對於谷歌，我得到，不知道這是正確的... 從googlebot.com google.com google-analytics.com 手託允許任何

Answer 1

我覺得你的理由這樣做可能是有問題的，但真正做到這一點的唯一方法是通過報告的用戶代理（一個HTTP請求標頭），而不是通過域 - 報告的用戶代理很容易被任何人欺騙。 （這通常也通過robots.txt控制，但通常用於相反的目的 - 限制抓取工具，而不是普通用戶。）Google和其他用於抓取網站的服務器將不會與您列出的名稱具有相同的名稱或IP 。

對於Google，這裏的一些額外的和官方的詳細信息可在http://support.google.com/webmasters/bin/answer.py?hl=en&answer=1061943。雅虎和MSN將擁有類似的頁面。