只重定向谷歌機器人

Question

有沒有一種方法，我們可以只重定向谷歌機器人而不是人類？

我有排名相當不錯的網頁，但想留下它可如果輸入直接在網址而不是通過搜索引擎列表

這可能與的.htaccess或robots.txt的？

Answer 1

不要僅僅依靠robots.txt。並非所有爬蟲都尊重這一點。

您可以查找某個特定的跡象表明您的Web服務器正在被bot訪問，併爲其選擇一個HTTP響應。

舉例：我被困擾頻繁訪問由Yandex的BOT：

RewriteCond %{HTTP_USER_AGENT} Yandex [NC] 
RewriteRule .* http://go.away [L,R=301] 

Answer 2

robots.txt將爲您完成這項工作，但可能需要幾天（幾周）。

Answer 3

這裏是你正在尋找的東西：http://www.robotstxt.org/orig.html