爲什麼在javascript文件上使用robot.txt？

Question

是否有任何理由你應該或不應該允許訪問javascript或css文件？特別常見的文件，如jQuery。

Answer 1

它被廣泛接受的是，搜索引擎每天爲給定網站分配一定數量的帶寬或URL數量。所以一些網站管理員喜歡阻止來自搜索引擎的JS，CSS和樣板圖像以節省帶寬，因此Google或Bing會抓取更多頁面而不是不必要的圖像。

Google員工Matt Cutts過去曾問過網站管理員不這樣做（http://www.seroundtable.com/googlebot-javascript-css-14930.html）。

看來谷歌想知道你的網站的行爲，無論是否使用JavaScript。有大量證據表明他們正在渲染整個頁面，並執行在PageLoad上執行的其他JavaScript（例如Facebook註釋）。

如果您甚至阻止了常見的jQuery文件，Google真的不知道它是否是常見的jQuery實現，或者您是否修改了核心文件，從而修改了體驗。

我的建議是確保您的所有JS，CSS和樣板圖像都從單獨的域或CNAME提供。我會監控Googlebot通過日誌和Google Webmaster Tools進行抓取，並觀察他們是否花費大量時間和帶寬來抓取這些資產。如果沒有，那就讓他們繼續爬行。

由於每個站點的行爲不同，您可以嘗試並阻止一些需求較大的文件，這些文件會吸收大量帶寬，然後觀察Google的「抓取的網頁」是否增加。

Answer 2

通常情況下，您不應該（或者不需要）禁止訪問robots.txt中的JavaScript和CSS文件。

但是，搜索引擎（特別是Google）在索引JavaScript生成的內容方面越來越好。在大多數情況下，這是一件好事。另一方面，JavaScript也被用來專門隱藏搜索引擎的內容，因爲人們相信搜索引擎不會執行JavaScript。這可能不再是這種情況了。然而，有人建議，通過禁止這些在robots.txt中生成內容的特定JavaScript文件，那麼您還會阻止搜索引擎生成並查看隱藏的內容 - 如果這是必需的話。

這種技術是由seomofo於2010年6月提出的，關於blocking affiliate marketing links。