忽略robots.txt中沒有參數的網址

Question

我有一個像這樣的漂亮網址。

http://example.com/category/shoes 

我想disallow的url如果在URL中有shoes parameter因爲沒有參數的頁面將被重定向到主頁。

於是，我就在robots.txt文件

Disallow: /category/ 
Allow: /category/*?* 

這樣的事情我不知道，如果上面的嘗試是正確與否？或者實現它的正確方法是什麼？

Answer 1

要阻止：

http://example.com/category/

不會阻塞：

http://example.com/category/whatever

可以使用$操作：

User-agent: * 
Disallow: /category/$ 

$表示 「URL的結束」 。請注意，所有網絡機器人都不支持$操作符。它是適用於所有主要搜索引擎的常見擴展，但它不是原始robots.txt標準的一部分。

下將無法正常工作：

Disallow: /category/ 
Allow: /category/*?* 

這將阻止與/分類/啓動，除了當URL還包含一個問號任何 URL路徑。這可能不是你想要的。