阻止谷歌索引從網站的一些網頁

Question

我有一個網站上有很多404錯誤的問題。我發現這些錯誤正在發生，因爲谷歌正試圖找到不再存在的頁面。 現在我需要告訴Google不要再索引這些頁面。

我在網上找到了關於使用robots.txt文件的一些解決方案。但這不是我建立的網站。我只需要解決這些錯誤。事情是，這些頁面生成。它們並不以這種形式存在。所以我不能在php代碼中添加任何東西。 我不太清楚如何將這些添加到robot.txt中。

當我這樣寫： *用戶代理：* NOINDEX：/ objekten/anzeigen/haus_antea/5-0000001575 *

和命中測試在網站管理員工具按鈕

我得到這個來自Googlebot： 允許 檢測爲目錄;具體文件可能有不同的限制

而我不知道這意味着什麼。

我是這種東西的新手，所以請儘可能簡單地寫下你的答案。

對不起，英語不好。

Answer 1

我想谷歌會刪除這樣的頁面，它會自動從索引中返回404錯誤。 Google不會在結果中顯示這些網頁。所以你不需要關心這一點。

只要確保這些頁面不與其他頁面鏈接。如果是這樣，谷歌可能會嘗試索引他們不時。在這種情況下，您應該返回301錯誤（永久移動）並重定向到正確的URL。 Google會遵循301錯誤並改用重定向的網址。

Robots.txt僅在需要刪除已存在於搜索結果中的頁面時才需要。但我認爲錯誤代碼404的網頁無論如何都不會顯示在那裏。