不允許所有子robots.txt的格式URLsbut不是根URL本身

Question

我的應用程序的URL像下面

http://example.com/app/1

http://example.com/app/2

http://example.com/app/3

...

http://example.com/app/n

現在我想阻止抓取這些網址，但不是http://example.com/app 我怎麼可以這樣使用robots.txt

Answer 1

以下內容添加到您的robots.txt

Disallow: /app/ 

這將使http://example.com/app但不是http://example.com/app/ * 您可以在這裏測試您的robots.txt https://www.google.com/webmasters/tools/robots-testing-tool