如何停止所有搜索引擎，機器人爬行一些網址

我用的robot.txt文件：

User-agent: * 
Allow:/
Disallow: */ads_count/*

我還添加了nofollow該控件的所有鏈接。

但許多漫遊器仍然遵循該小部件中的網址。我已經得到客戶端IP來統計網址，並且我有很多IP表單機器人。

來源

2012-12-04 Vô Danh Vô Hình

您是否嘗試刪除*/ads_count之前的（*）？至於SEO谷歌文檔說，如果你想阻止所有的機器人，它就像ü沒有：

User-agent: * // (to whom? (*) means all bots! 
Disallow: /ads_count

請注意，指令區分大小寫。例如，Disallow：/junk_file.asp會阻止http://www.example.com/junk_file.asp，但允許http://www.example.com/Junk_file.asp。 Googlebot會忽略robots.txt中的空格（特別是空行）和未知指令。

來源

2012-12-04 10:43:43 periback2

防爆我的網址：http://www.abc.com/ads_count/?u=213&a=9 所以我儘量禁止所有機器人遵守所有的URL */ADS_COUNT/* 難道我做錯了什麼？ –

嘗試添加User-agent：* Disallow：/ ads_count * /（它應該阻止ads_count的所有子目錄 – periback2

請查看以下網址：http：//support.google.com/webmasters/bin/answer.py？ hl = zh-CN＆hlrm = pt-BR＆answer = 156449 – periback2

Allow和Disallow通配符*不是原來的robots.txt規範的一部分，因此並非所有的robots.txt解析器會知道/注意這些規則。

如果你想阻止開始/ads_count/所有頁面，你只需要：

User-agent: * 
Disallow: /ads_count/

但是：不是所有的機器人尊重的robots.txt。所以你仍然可以通過忽略robots.txt的糟糕機器人獲得點擊量。

來源

2012-12-10 14:45:27 unor

如何停止所有搜索引擎，機器人爬行一些網址

回答

相關問題