2013-09-25 117 views
1

有人可以告訴我如何寫robots.txt文件。我需要禁止所有頁面的目錄,但我需要允許訪問所有相關的子目錄。 您必須知道我不知道頁面和子目錄名稱......它們是自動創建的。Robots.txt - 禁止所有頁面,但允許所有子目錄

例如:

禁止:/dir1/dir2/all-pages.html

允許:/ DIR1/DIR2 /所有子目錄/

(對不起,我的英語)

回答

1

這應做到:

Allow: /dir1/dir2/*/ 
Disallow: /dir1/dir2/ 

應該針對谷歌和Bing工作。它是否適用於其他爬行器是一個懸而未決的問題,因爲AllowDisallow如何協同工作沒有通用標準。但將Allow放在第一位將爲您提供最佳工作機會,因爲許多爬蟲使用「第一個匹配規則」。所以他們會看到Allow並繼續。

+0

謝謝吉姆。我嘗試你的解決方案,我希望它能起作用 –

相關問題