谷歌網站管理員工具聲稱我的robots.txt封鎖了我的所有網站

Question

我提交了一個包含成千上萬個網址的網站地圖，但是當我查看網站站長工具時，它聲稱我的網址9800被我的機器人阻止。 txt文件。

我該怎麼做才能說服它沒有任何東西被阻擋？

Answer 1

有時這只是意味着robots.txt文件無法達成（傳回5xx服務器錯誤;否則，Googlebot只是沒有得到迴應）。在這些情況下，Google會將他們嘗試抓取的所有網址視爲robots.txt禁止的網址。您可以在網站管理員工具的抓取錯誤部分中看到（位於站點錯誤頂部）。