是否需要在robots.txt中單獨禁止相關的子文件夾？

將禁止某些文件夾中的robots.txt禁止其相關的子文件夾？例子：是否需要在robots.txt中單獨禁止相關的子文件夾？

Disallow:/folder/

將匹配：

/folder/page 
/folder/subfolder/page

或者它只會匹配：

/folder/page

所以，如果第二種情況是真實的，我需要不允許第二次及以後的子文件夾分別？

Disallow: /folder/ 

Disallow /folder/subfolder/ 

Disallow /folder/subfolder/onemorefolder

來源

2014-04-29 vaseech

Robots.txt沒有「文件夾」的概念，它只是字符串。無論你在Disallow指定爲開頭的URL路徑的的。

Disallow: /將阻止路徑以/（=所有頁面）開頭的任何URL。

Disallow: /foo塊，其路徑上的任何網址開頭/foo：

/foo

/foobar

/foo.html

/foo/bar

/foo/bar/doe

Disallow: /foo/塊，其路徑始於/foo/任何網址：

/foo/

/foo/bar.html

/foo/bar

/foo/bar/doe

來源

2014-04-30 10:57:01 unor

很好的解釋。謝謝！我相信同樣的概念在一堆其他類似的東西使用，例如像gitignore文件。我想知道除了星號之外，還有什麼其他特殊字符可以讓你制定規則。 – vaseech

@vaseech：原來的robots.txt規範沒有定義與'Disallow'值保留含義* *任何特殊字符。因此，如果您有'Disallow：/ foo *'，那麼'*'就會被字面解釋，即包含星號的URL。但是，特定的消費者（如Googlebot）通常會擴展robots.txt規範並對某些字符進行不同的解釋。 – unor

是否需要在robots.txt中單獨禁止相關的子文件夾？

回答

相關問題