robots.txt和相對路徑

Question

我想禁止我網站上任何/ tmp文件夾中的任何文件。例如我有：「/anything/tmp/whatever/test.html」，「/stuff/tmp/old/test.html」，「/people/tmp/images.html」等。

將disallow/tmp /放入我的robots.txt以阻止我的web服務器的整個文件系統中的任何tmp文件夾就足夠了嗎？或者我需要把每一個路徑，如： 不允許/什麼的/ tmp/ 不允許/東西的/ tmp/ 不允許的/ tmp/

或者這樣： 不允許/ *的/ tmp/

謝謝

Answer 1

直接的答案：NO

你必須聲明你想從機器人排除的每個目錄。

User-agent: * 
Disallow: /anything/tmp/ 
Disallow: /stuff/tmp/ 

您可以檢查您的robots.txt文件的語法@http://www.frobee.com/robots-txt-check
瞭解更多關於機器人排除@http://www.robotstxt.org/orig.html

Answer 2

它實際上依賴於REP解析器。更高級的解析器可以識別通配符語法，但它不是original spec的一部分。

也就是說，Google並不尊重通配符。根據他們的解析器：

/fish*.php 
Does Match: 
    /fish.php 
    /fishheads/catfish.php?parameters 
Does Not Match 
    /Fish.PHP