更新抓取工具有關目錄結構變化的信息

Question

在我們的舊站點上，我們有一些已經被棄用的目錄。我很擔心404會傷害我們的排名。

例如曾經www.mysite.com/intranet/不再存在於我們的服務器上，但谷歌是（我猜）更新該文件夾的舊記錄並返回404 s。 （我們使用一個插件來報告通過RSS 404 S）

我看到的是選項：

1. 通過robots.txt通過.htaccess
2. 如果不允許重定向這些URL（令人困惑，因爲沒有這樣的目錄）
3. 通過網站管理員工具刪除目錄（可能不適合做這樣的推薦理由）

我會非常的欣賞e如果任何人都能提供一些關於如何讓Google認爲這些目錄仍然是網站的一部分的見解。

Answer 1

您應該更新您的站點地圖並將其發送給搜索引擎，這是重要的第一步。

除了站點地圖，如果您將這些資源移動到新結構中的新位置，請使用301 redirections。如果他們剛剛消失，無論原因如何，請使用410 status通知抓取工具他們不再可用。

如您所說，沒有必要觸摸robots.txt文件，因爲這對於網站的真實結構是不正確的。