Robots.txt Disallow

Question

我正在使用電子商務系統，目前正在拋出數百個潛在的重複頁面URL，並試圖解決如何通過robots.txt隱藏它們，直到開發人員能夠對其進行排序那裏......出去。

我已經設法阻止其中的大部分，但卡住最後一個類型，所以問題是： 我有4個網址與下面的結構相同的產品頁面，我如何阻止第一個但不是其他。

1. www.example.com/ProductPage
2. www.example.com/category/ProductPage
3. www.example.com/category/subcategory/ProductPage
4. www.example.com/category/subcategory/ProductPage/assessorypage

到目前爲止，我能想出的唯一的想法是使用：

Disallow: /*?id=*/ 

這howeve r阻止一切...

編輯：我相信我可能已經找到了一種方法來設置robots.txt文件來禁止所有然後只允許我想要的特定路徑下面，然後...再次禁止任何之後的特定路徑。

任何人都知道這是否對SEO有負面影響，使用disallow> allow> disallow。

Answer 1

您可以爲rel =「canonical」屬性設置元標記。這將有助於搜索引擎瞭解哪個網址是「正確」的，而且每個產品的搜索結果中不會有多個網址。

閱讀here瞭解更多信息