防止所有機器人訪問頁面

在asp.net，c＃web應用程序中，是否可以防止漫遊器訪問特定頁面？防止所有機器人訪問頁面

我想阻止所有機器人訪問我網站上的付款頁面。

2011-06-20 amateur

什麼親d的機器人？你怕什麼呢？ – SLaks

所有機器人 - 我不需要網頁被搜索引擎索引，所以可以阻止所有機器人從這個單一的頁面。 – amateur

什麼都不能阻止終結者。沒有。 – Amy

你不能。

您可以要求機器人不訪問您的網站（請參閱Projapati的答案關於如何做到這一點的更多細節），或某些目錄或某些文件;但這只是一個請求。只要'Joe Schmoe用戶'可以打開瀏覽器並查看頁面;沒有任何東西阻止某人將該訪問自動化。

你可以嘗試做某些事情，阻止某些你知道被各種殭屍程序/抓取程序使用的IP;但它會是一個失敗的主張。你絕不能肯定地說，它不是一個訪問該頁面的機器人。

或者您可以修改網站，以便只有經過身份驗證的用戶才能訪問該特定頁面，並希望沒有人能夠通過設置虛假帳戶來解決問題。

2011-06-20 21:56:42

您可能需要使用robot.txt文件。在這裏，你可以找到更多的信息如何使用它： http://en.wikipedia.org/wiki/Robots_exclusion_standard

2011-06-20 21:46:51 kheya

將一個文件在您的網站的根文件夾叫robots.txt和下面的代碼添加到它

User-Agent: * 
Disallow: /paymentpage.php # change this to your payment page.

您也可以禁止特定的機器人，谷歌，例如：

User-Agent: Googlebot 
Disallow: /paymentpage.php # change this to your payment page.

瞭解更多about robots.txt：

2011-08-19 14:44:10

回答