如何防止蜘蛛/搜索引擎遵循「報告爲冒犯性內容」鏈接

Question

我有一個Rails應用程序。在我的評論部分中，我在該網站的一些（文章）頁面上報告了令人反感的內容鏈接。我想通過搜索引擎獲得文章，但不是特別鏈接report as offensive content。

因此，簡而言之，我的問題是 - 如何防止蜘蛛/搜索引擎跟蹤我的網站的「報告爲冒犯性內容」鏈接？

Answer 1

我找到了一個答案

優點： - 它很容易。只有一行

<a href="mypage.html" rel="nofollow" /> 

但缺點： -

我們的測試顯示，一些搜索引擎做的抓取和索引nofollow的鏈接。 nofollow標記可能會降低鏈接提供的排名值，但不能可靠地用於阻止搜索引擎關注鏈接。

Answer 2

您可以指定Web爬網程序不使用robots.txt文件進行爬網的鏈接。

更多在這裏學習：

http://www.robotstxt.org/

下面是一個例子。在您的應用程序的最頂層目錄中創建一個robots.txt，以便您的domain.com/robots.txt可以訪問它。

User-agent: * 
Disallow: /offensive 

這對每個用戶代理說，忽略/offensive網址。