Robots.txt禁止特定頁面不起作用

Question

我有一個Magento安裝，我想從Google抓取中排除隱私策略cookie限制模式頁面。 在我的robots.txt我已經設置了下面的代碼：

Disallow: /enable-cookies/ 
Disallow: /customer-service/ 
Disallow: /privacy-policy-cookie-restriction-mode/ 

當我analize我的網站SemRush我得到複製的內容與此頁和不允許istruction似乎並沒有工作。

有沒有建議嗎？

Answer 1

看一看這個谷歌幫助頁面：

https://support.google.com/webmasters/answer/66359?hl=en

谷歌不建議您阻止抓取工具訪問重複內容 在您的網站，是否有一個robots.txt文件或其他方法。如果 搜索引擎無法抓取包含重複內容的網頁，他們不能 自動偵測這些網址指向相同的內容，因此 將有效不得不把他們當作獨立的，獨特的 頁。