0
我需要讓所有的代理訪問我的所有網站及其子目錄,但兩個目錄:robots.txt的:允許所有的訪問,但2個目錄
User-agent: *
Disallow: /disable_dir_1/
Disallow: /disable_dir_2/
這是正確的方式來實現這一目標?
我需要讓所有的代理訪問我的所有網站及其子目錄,但兩個目錄:robots.txt的:允許所有的訪問,但2個目錄
User-agent: *
Disallow: /disable_dir_1/
Disallow: /disable_dir_2/
這是正確的方式來實現這一目標?
有工具可以自動做: robots.txt generator
無論如何,你的做法是好的,但我強烈建議在得知此事之後谷歌的建議: Google robots.txt explanation