Sitemap包含被robots.txt阻止的網址

Question

我們發生了意外，我們的Wordpress網站將robots.txt設置爲禁止7天左右的爬網。我現在正在嘗試清理，網站站長工具說「Sitemap包含被robots.txt阻止的網址」。之後我「VE調整的robots.txt並允許抓取沒有理由的URL仍然會堵塞，當我訪問的例子出現OK

robots.txt的網址：http://bit.ly/1u2Qlbx

站點地圖網址：http://bit.ly/1BfkSmx

我的網址，其中的robots.txt是根據網站管理員工具阻止：http://bit.ly/1uLBRea或http://bit.ly/1CsrHnr

Answer 1

別擔心，如果您再次啓用網址，Google的抓取工具會再次發現並抓取您的網頁。消息將在幾天內從GWT中消失。

最終，您可以使用GWT的相應功能測試您的robots.txt。

Answer 2

使用這個插件

https://wordpress.org/plugins/wp-robots-txt/

它會刪除以前的robots.txt並設置簡單的WordPress的robots.txt，等待了一天

問題就可以迎刃而解。

Answer 3

Google可能需要一段時間才能重新抓取您的網站。我會說等待可能是你唯一的選擇。

我已經花了長達7天的時間，通過網站管理員工具提交完整的網站地圖後正確索引的東西。

它看起來像你使用Yoast搜索引擎優化，該插件應該告訴你，如果有任何其他問題存在。