robots.txt文件不允許選項

Question

我想阻止機器人訪問以/new結尾的網址。我修改我的robots.txt文件，如下所示：

Disallow: /*/new 

這是正確的方式用來禁止訪問的/new終止所有網址嗎？

Answer 1

是谷歌似乎支持這種

嘗試https://www.google.com/webmasters「網站配置>抓取工具訪問」來測試您的robots.txt文件給出的網址

下面是這個工具

http://www.***.com/new/asdasd 
Allowed by line 6: Allow:/

http://www.***.com/asdasd/new/ 
Blocked by line 8: Disallow: /*/new 
Detected as a directory; specific files may have different restrictions 

http://www.***.com/asdasd/new 
Blocked by line 8: Disallow: /*/new 

Answer 2

Disallow: /new$ 

的結果

將檢查終止於/new的網址