1
有人可以告訴我如何寫robots.txt文件。我需要禁止所有頁面的目錄,但我需要允許訪問所有相關的子目錄。 您必須知道我不知道頁面和子目錄名稱......它們是自動創建的。Robots.txt - 禁止所有頁面,但允許所有子目錄
例如:
禁止:/dir1/dir2/all-pages.html
允許:/ DIR1/DIR2 /所有子目錄/
(對不起,我的英語)
有人可以告訴我如何寫robots.txt文件。我需要禁止所有頁面的目錄,但我需要允許訪問所有相關的子目錄。 您必須知道我不知道頁面和子目錄名稱......它們是自動創建的。Robots.txt - 禁止所有頁面,但允許所有子目錄
例如:
禁止:/dir1/dir2/all-pages.html
允許:/ DIR1/DIR2 /所有子目錄/
(對不起,我的英語)
這應做到:
Allow: /dir1/dir2/*/
Disallow: /dir1/dir2/
應該針對谷歌和Bing工作。它是否適用於其他爬行器是一個懸而未決的問題,因爲Allow
和Disallow
如何協同工作沒有通用標準。但將Allow
放在第一位將爲您提供最佳工作機會,因爲許多爬蟲使用「第一個匹配規則」。所以他們會看到Allow
並繼續。
謝謝吉姆。我嘗試你的解決方案,我希望它能起作用 –