爲什麼Google Bot抓取不存在的CSS文件？

Google Bot Crawler一直試圖抓取生產環境中不存在的CSS文件。爲什麼Google Bot抓取不存在的CSS文件？

，它要求：

http://www.mywebsite.com/assets/index-d45678283d4ab9905c3538184826e599.css

此確切的文件名不存在生產（有生產略有不同的文件名）。

但是，它要求的CSS文件並在發展中存在時：

http://localhost:3000/assets/index-d45678283d4ab9905c3538184826e599.css

我不知道爲什麼它是要求這個文件。

我使用Capistrano（加載「部署/資產」）在部署到生產之前預先編譯我的資產。

現在，我只是在robots.txt中阻止該文件，但它在每次部署之後請求更改的css文件。

爲什麼GoogleBot想要抓取這個在生產站點中不存在的文件？我該如何阻止它？

2013-06-24 Hung Luu

Googlebot會很可能看到的兩件事情之一：

讓我感到困惑的是，它不會在服務器發出404響應後忽略它，但是，Google軟件的內部工作原理是黑匣子;沒有真正的方法可以說明它爲什麼做它的功能。

這就是說，他們所提供的Webmaster Tools Panel，讓你做自己的索引等

2013-06-24 01:34:11

的一些定製我不引用該文件在我的代碼的任何地方。我認爲它可能是從以前的版本記住它，並且正在檢查更新。但是，這很奇怪，因爲Rails編譯這個CSS的方式，它總是會附加一個不同的隨機序列到我的index.css文件名，所以有興趣看看是否有其他人看到這個問題。 –

您是否檢查過網站管理員工具面板？ –

即使我已經將sitemap.xml上傳到我的根文件夾 –

回答