如何告訴谷歌機器人，某些鏈接不再存在

Question

在網站的第一天，我犯了一些鏈接的錯誤，跟着他們輸出一個數據庫錯誤。

谷歌機器人試圖追蹤這些鏈接，現在它們在網站管理員工具中顯示爲抓取錯誤。 儘管我已經糾正了錯誤，但Google仍嘗試抓取它們。

如何告訴Google，這些鏈接不再存在，並且它們導致不在哪裏？我不能做一個301重定向的原因，可以說這些鏈接是有效的，並且可以將它們編入索引。

Answer 1

如果頁面消失了，沒有邏輯的更換，那麼你通常應該返回一個錯誤404，在這種情況下，但是我會考慮返回410 Gone - 這表明該頁面已永久刪除，永不返回，應該從谷歌索引中清除。

它可能值得grep現有的代碼庫的網址的問題，以確保沒有任何鏈接留給他們。

至於301的301並不意味着鏈接有效，301永久移動。這告訴谷歌它以前在這裏尋找的頁面現在住在其他地方，並指示谷歌到新的位置。從事物的聲音中不適用於您的情況，但與您描述的方式略有不同。

欲瞭解更多信息，請參閱http://en.wikipedia.org/wiki/List_of_HTTP_status_codes

Answer 2

我只想標誌着他們在你的robots.txt

http://www.robotstxt.org/robotstxt.html