Robot.txt特殊字符不允許

Question

示例鏈接upload.php？id = 46。我想禁止所有的鏈接，即id = 1,2,3 我該怎麼做，使用特殊字符

這將工作對我？

disallow:/upload.php?id=* 

Answer 1

您的示例對於主要搜索引擎可以很好地工作，但最終*是不必要的，並且會導致不支持通配符的較舊機器人忽略該行。 Disallow指令基本上意味着「阻止以下列開頭的任何內容」。最後加一個通配符是多餘的，對於匹配的內容沒有影響。通配符不是原始的robots.txt規範的一部分，所以並不是所有的機器人都支持它們。所有的主要搜索引擎都這樣做，但許多老式機器人都沒有。 以下與您的示例完全相同，但不含通配符：

User-agent: * 
Disallow: /upload.php?id= 

Answer 2

爲什麼不只是在upload.php文件中使用頭文件？即把：

header("X-Robots-Tag: noindex, nofollow", true); 

在upload.php的頂部。如果您使用Apache來提供文件，您還可以在配置文件中設置基於規則的頭文件。