機器人和301重定向

Question

我已經在6個月前更改了我的網站的網址結構。我檢測到使用舊版網址並使用301狀態碼重定向到新網址。我用flidder驗證了狀態碼在請求後正確返回。但機器人（雅虎漿果，谷歌機器人等）仍然擊中舊網址。有什麼我失蹤？

Answer 1

不，只需要非常非常長的時間才能抓取消息。我有機器人抓取自2005年以來一直沒有存在的地址 - 當民間的地址永久存在時，他們真的是這樣。

此外，根據您的URL的構成方式，你可以使用robots.txt

Answer 2

禁止的舊地址，如果外部網站已經鏈接到您的舊網頁和這些鏈接仍然是機器人訪問，該機器人將保持來嘗試訪問內容。

Answer 3

試試這個，這將只會重定向到機器人。

if (preg_match("#(google|slurp@inktomi|yahoo! slurp|msnbot)#si", $_SERVER['HTTP_USER_AGENT'])) { 
    header("HTTP/1.1 301 Moved Permanently"); 
    header("Location: http://www.your-main-site.com/"); 
    exit; 
} 

Answer 4

這裏提到你的網站地址：

http://www.your-main-site.com/

這就是我們用來轉移域和一顆被黑帽搜索引擎優化。