的robots.txt禁止：蜘蛛

Question

我期待在robots.txt file of a site I would like to do a one off scrape並沒有這一行：

User-agent: spider 

Disallow:/

這是否意味着他們不希望任何蜘蛛？我的印象是*用於所有蜘蛛。如果這是真的，這當然會阻止像谷歌這樣的蜘蛛。

Answer 1

這只是告訴代理人，他們自稱spider足夠溫和，不能瀏覽網站。

這沒有特別的意義。

的robots.txt文件只能由機器人使用，這樣的方式來排除所有的機器人是用*：

User-Agent: * 
Disallow:/