爲什麼Googlebot無法抓取這個robots.txt？

我不明白爲什麼Googlebot無法抓取和索引我創建的WordPress網站。這是我爲我的robots.txt：爲什麼Googlebot無法抓取這個robots.txt？

User-agent: * 
Disallow: /wp-admin/ 
Disallow: /wp-includes/ 
Disallow: /wp-login.php 
Disallow: /wp-content/ 
Disallow: /content/ 
Allow: /content/uploads/

來源

2014-11-24 Caio Caio

是什麼讓你認爲你的網站沒有被抓取？ Google需要時間來檢測新網站（尤其是如果沒有從任何地方鏈接）。您可以通過http://www.google.co.uk/submityourcontent/tools.html#web提交抓取請求，但即使這樣做可能需要一段時間才能解決。 – Mawg 2014-11-24 12:55:57

已經過了一個多星期了。我一直在等待，我想我會做更多的等待。我認爲這是幾天的事情......不要猜測。謝謝。 – 2014-11-24 13:45:33

噢，我可以補充一點，當我搜索特定領域時，谷歌表示，由於robots.txt中的規則，這個網站的內容不能被索引......這就是爲什麼我感到困惑。就這樣。 – 2014-11-24 13:47:07

對不起，我也無權對此發表評論，所以也許聽起來很傻，但你可以在管理面板

檢查進入設置 - >閱讀 - >和搜索引擎可見性必須是未經檢查

也是你的前端按CTRL +ü和尋找元

 <meta name="robots" content="noindex">

個

也許一個插件設置的元機器人，

來源

2014-11-24 15:28:57

我檢查了這個可見性，並且沒有選中與'機器人'有關的元數據。我想我只需要耐心一點。雖然謝謝！我也使用Google開發工具完成了Robot Tester ...但是這並沒有比我已經知道的更多。 – 2014-11-24 19:26:13

去谷歌的網站管理員工具，並添加您的網站存在。在左側，轉到標籤「抓取」 - >抓取爲Google。現在你應該看到錯誤，或者點擊'Submit to index'按鈕。提交你的頁面，它應該在幾天內被編入索引。

來源

2014-11-25 01:19:45

爲什麼Googlebot無法抓取這個robots.txt？

回答

相關問題