使用「禁止：/ *？」在robots.txt文件

Disallow: /*?

在robots.txt文件來禁止可能包含所有頁面的「？」在URL中。

該語法是否正確，或者我還封鎖了其他頁面？

這取決於機器人。

遵循原始robots.txt規範的機器人不會給*任何特殊含義。這些漫遊器會阻止以/*開頭的任何URL，緊接着是?，例如http://example.com/*?foo。

一些機器人，包括Googlebot，給*人物帶來了特殊的含義。它通常代表任何字符序列。這些漫遊器會阻止你似乎打算：任何URL與?。

爲了阻止訪問包括問號（?）的所有URL。例如，示例代碼會禁止訪問以您的域名開頭，後接任意字符串，然後是問號，並與任意字串：
User-agent: Googlebot 
Disallow: /*? 

2016-12-14 23:24:06 unor

回答