保持robots.txt的空白

Question

我有幾個WordPress網站一個網站，並與目前谷歌搜索引擎算法的更新應該是移動友好（here）

我在這裏的查詢如下，目前我已經在機器人編寫規則.TXT不允許抓取網址與WP-

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /feed 
Disallow: /*/feed 
Disallow: /wp-login.php 

我不希望谷歌抓取上述網址。此前它工作正常，但現在與最近的谷歌算法更新，當我不允許這些URL它將開始在移動友好測試中的錯誤（here）。因爲我所有的CSS和JS都在wp-url的後面。我想知道如何解決這個問題。 任何建議表示讚賞。

Answer 1

如果您將抓取工具遠離這些文件，您的頁面可能會看起來和看起來不同於Google，而不是它看起來像訪問者。這是谷歌想要避免的。 允許Google訪問CSS或JS文件沒有任何問題，因爲其他人可以打開您的HTML源代碼並且閱讀鏈接也可以訪問它們。

因此谷歌肯定要訪問你的頁面上使用的CSS和JS文件： https://developers.google.com/webmasters/mobile-sites/mobile-seo/common-mistakes/blocked-resources?hl=en

需要這些文件，以使您的網頁。

如果您的網站的robots.txt文件不允許抓取這些資源，它會直接損害我們的算法渲染和索引您的內容的效果。這可能導致排名不理想。

如果您依賴移動設備排名，則必須遵循Google規範。如果沒有，請隨時阻止抓取工具。