如何使用robots.txt中

Question

通配符是否有可能：

User-agent: * 
Disallow: /apps/abc*/ 

在robots.txt文件禁止ABC123，ABC-XYZ等？

Answer 1

報價Wikipedia：

機器人排除標準沒有提及在不允許的字符「*」任何東西：語句。一些抓取工具如Googlebot和Slurp可以識別包含「*」的字符串，而MSNbot和Teoma則以不同的方式對其進行解釋。

可在cited source中找到其他的研究。