我可以得到關於robots.txt的解釋

Question

我只想知道您的網站是否需要robots.txt以供抓取工具索引頁面。或者它只是禁止任何你不想索引的內容。

Answer 1

您並不需要robots.txt才能使抓取工具進行索引。它恰恰相反，它被用來禁止某些地方的某些機器人。

所有你需要知道的是在這裏：http://www.robotstxt.org/

Answer 2

我不同意，一個robots.txt可以當使用一個或多個地圖（也應該）被使用。雖然它們不是強制性的，但強烈建議使用它們來幫助建立索引。