2014-05-22 72 views

回答

0

從理論上講,它會阻止一個機器人選擇通過訪問以Blog/+開頭的網站的任何部分來尊重它;然而,機器人並不需要尊重它,因爲它不是從一個表示斜線的目錄開始,所以沒有人知道人們的機器人將如何處理它。

從:http://www.robotstxt.org/orig.html

不允許 該字段的值指定的部分URL不是被訪問。這可以是完整路徑或部分路徑;任何以此值開頭的URL都不會被檢索到。例如,Disallow:/ help不允許/help.html和/help/index.html,而Disallow:/ help /將不允許/help/index.html,但允許/help.html。 任何空值,表示可以檢索所有URL。記錄中至少需要存在一個Disallow字段。

相關問題