讓網絡抓取工具離開您的網站

Question

網絡開發中有什麼方法可以確保抓取工具無法抓取您的網站嗎？

User-agent: * 
Disallow:/

注意，這不會阻止不文明的機器人從建立索引：

Answer 1

確保？你可以用robots.txt禮貌地問（但他們可以被忽略），你可以用CAPTCHA（但它們可以被擊敗並給普通用戶施加一個障礙）擋住障礙，並且你可以監視每個人的行爲訪客尋找殭屍模式（但機器人可以代理週期和速率限制）。

Answer 2

你可以在你的站點的根目錄，這將防止文明機器人從索引它放置robots.txt文件包含以下內容。阻止他們的唯一方法是使用Captcha等技術。

當然，最好使用專門的開發機器，在您的網站正在建設時無法從互聯網訪問。

Answer 3

使用robots.txt指示或允許/禁止機器人將您的網站編入索引。

Answer 4

您還可以根據crawlers user agent拒絕訪問，當然這假設爬網程序使用的用戶代理與常規瀏覽器不同。