從索引重定向網址禁用谷歌

Question

我有一個新聞聚合網站噸新聞... 如果主頁上的一條新聞有文字，然後鏈接是重定向到源網站www.site.com/紅色/ 23545，但如果相同的新聞沒有任何文本只是標題，那麼它會得到這個鏈接，這不是一個重定向，並去我的網站上的不同頁面www.site.com/23545/some_news_title

因此，同樣的新聞可以在一些頁面上顯示文字，然後在源頁面或某些只有標題的頁面上重定向，並獲得站點內頁面的正常鏈接。

問題是，谷歌索引重定向鏈接（www.site.com/red/23545）。

我加

Disallow: /red/ 

到我的robots.txt

，我也加入

rel="nofollow" 

所有重定向鏈接

，但它不沒有工作。 ..其仍然索引...

我使用重定向鏈接的原因是爲了防止屏幕抓取我的網站..如果有人要去重定向鏈接沒有我的域名作爲引用，他將被重定向到我的坐位，而不是新聞源頁面.. 。

任何幫助，將不勝感激。

謝謝！

Answer 1

您可以在重定向網頁添加下列頭，以防止它們被編入索引：

X-Robots-Tag: noindex 

不過，我很驚訝，你的robots.txt沒有工作。你在那裏有多長時間robots.txt文件？它往往需要一些時間才能使這些事情發揮作用。您可以通過谷歌網站管理員工具刪除谷歌索引中的鏈接，加快這一進程。