robots.txt的內容

Question

noindex是robots.txt文件中的可選指令，還是用戶代理，禁止，允許和爬行延遲唯一選項？
例如，這是有效的robots.txt文件？：

用戶代理的內容：*
禁止：/
NOINDEX：/

Answer 1

NOINDEX不是一個有效的指令robots.txt文件。不過，這是META機器人標籤的有效指令。

robots.txt的唯一標準指令是「User-agent」和「Disallow」。某些瀏覽器支持一組擴展的指令，包括「抓取延遲」，「允許」和「站點地圖」。 http://rield.com/cheat-sheets/robots-exclusion-standard-protocol似乎對標準和擴展指令有一個全面的解釋。