robots.txt配置

Question

我對這個機器人文件有一些懷疑。

User-agent: * 
Disallow: /administrator/ 
Disallow: /css/ 
Disallow: /func/ 
Disallow: /images/ 
Disallow: /inc/ 
Disallow: /js/ 
Disallow: /login/ 
Disallow: /recover/ 
Disallow: /Scripts/ 
Disallow: /store/com-handler/ 
Disallow: /store/img/ 
Disallow: /store/theme/ 
Disallow: /store/StoreSys.swf 
Disallow: config.php 

這是要禁用每個文件夾內的所有文件的抓取工具嗎？ 或者我必須在每個文件夾名稱的末尾添加一個星號？

我認爲這應該做到這一點。但我不知道是否必須在User-agent之後加上Allow: /，我想這是不需要的。

這個機器人文件有什麼問題嗎？ PS：如果有人可以爲本地使用建議一個驗證應用程序，我會很高興。

謝謝。

Answer 1

這很好，如果我明白你想要什麼。例如。

/administrator/ 
/css/subpage 

都受阻，但

/foo 

是允許的。請注意，Allow是一個不太受支持的擴展，僅用於對付先前的Disallow。例如，你可以使用它，例如，儘管你的決定你想要一個特定的圖像允許，但如果你不想使用它，所以，

Allow: /images/ok_image 

所有其他圖像保持阻塞。你可以看到http://www.searchtools.com/robots/robots-txt.html瞭解更多信息，包括跳棋列表。