我如何使用htaccess阻止所有機器人。所有機器人都意味着所有機器人,即使谷歌或任何機器人應訪問我的網站。 我在我的網站中使用自定義index.html頁面,並在後端Wordpress中安裝。如何阻止所有機器人包括谷歌機器人和所有其他機器人與Htaccess
回答
有沒有辦法禁止所有,但你可以禁止一些知名的。要阻止Google,Yandex和其他衆所周知的搜索引擎,請檢查他們的文檔,或添加HTML機器人NOINDEX,nofollow元標記。
對於Google檢查Googlebots bot doc他們有。或者乾脆加入谷歌機器人:
RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} ^Mediapartners [OR]
RewriteCond %{HTTP_USER_AGENT} ^AdsBot [OR]
有關的.htaccess你將有一個長長的清單,如:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR]
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:[email protected] [OR]
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR]
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR]
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR]
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR]
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR]
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR]
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR]
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR]
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR]
#... more entries, not showing you the whole list
# as it may contain false positives, find them yourself.
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR]
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR]
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR]
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR]
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR]
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR]
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ^Zeus
RewriteRule .* - [F]
找到您想要的清單,或檢查機器人的網頁,看看有什麼PARAMS他們正在設置。我從一個正在運行的應用程序中找到了此設置。
感謝您的回覆。但是答案中沒有Googlebot代碼?爲什麼? –
我告訴你如何做到這一點,剩下的就在你身上。對於谷歌:請參閱我給你的頁面,添加這些漫遊器 –
謝謝老兄!你可以給谷歌代碼 –
- 1. htaccess塊*機器人和機器人*
- 2. 使用.htaccess從谷歌機器人中阻止文件夾
- 3. 機器人文本阻止
- 4. 谷歌機器人系統
- 5. 谷歌置於機器人
- 6. 谷歌機器人問題
- 7. 在機器人機器人
- 8. 如何阻止PicScout機器人
- 9. 與機器人
- 10. 機器人NDK dirent.h如何包括
- 11. 如何防止機器人
- 12. 停止機器人
- 13. 如何使用機器人對所有人進行DM - discord.py
- 14. 流星SEO和谷歌機器人
- 15. 谷歌機器人.net和AspxAutoDetectCookieSupport困境
- 16. 如何谷歌機器人訪問和人類
- 17. 在包「機器人」
- 18. 在包「機器人」
- 19. 在包「機器人」
- 20. 在包「機器人」
- 21. ‘中包‘機器人’「
- 22. 機器人如何在其他程序
- 23. 機器人:不能與其他
- 24. 機器人 - 如何讓內所發生
- 25. 機器人與MSACCESS
- 26. 在虛擬主機上停止機器人及其所有子版本
- 27. 這足以阻止機器人嗎?
- 28. 用iptables阻止網絡機器人
- 29. 的logback-機器人實現機器人沒有發生
- 30. Java和機器人
你可以阻止所有好的機器人,但是你不能阻止所有的壞機器人,因爲你沒有辦法弄清楚壞機器人和人類之間的區別。你可以做的最好的事情是用htaccess密碼鎖定網站或通過ip限制它。 –
你可以給所有已知的殭屍程序提供代碼嗎? –
對於現在和將來遵守robots.txt「標準」的所有(好)機器人,您應該使用robots.txt文件。合規機器人甚至不會向您的網站發出請求。 – MrWhite