我是否絕對需要爲我面向公衆的網站提供robots.txt文件？

Question

我在審查幾個我的網站，以確保我的搜索引擎優化基地覆蓋。有問題的網站上沒有私人頁面，我們希望所有頁面都被編入索引。無論如何，即使不需要，也包括robots.txt文件，這使我的網站看起來更有信譽，更重要嗎？

Answer 1

我只是包括一個空白的一個，不管它沒有它，你的服務器仍然向請求者吐出一條404消息。這可能比空白的robots.txt文件大一些。

Answer 2

不，它不會。

谷歌有自己的規則來決定，不會依賴robots.txt的存在。

Answer 3

只有谷歌可以爲你解答。

根據wikipedia，robots.txt僅用於黑名單，速率限制和站點地圖。

Answer 4

根據Google，這是一個好主意。他們的指示/指導實際上是非常徹底的。

Answer 5

搜索引擎將查找robots.txt文件。如果它不在那裏，搜索引擎會得到一個404。有一個是個好主意，即使它是空白的。

Answer 6

這個問題已經回答，但答案都有點老，這個問題繼續出現在搜索結果中，並且事情已經改變。

Google now recommend如下：

如果你想搜索引擎索引的一切在你的網站，你不 需要一個robots.txt文件（甚至沒有一個空）。

JohnMu（谷歌的），也使得following suggestion：

我會建議走得更遠甚至有點，也許完全刪除 robots.txt文件。