2016-03-03 262 views
1

我如何使用htaccess阻止所有機器人。所有機器人都意味着所有機器人,即使谷歌或任何機器人應訪問我的網站。 我在我的網站中使用自定義index.html頁面,並在後端Wordpress中安裝。如何阻止所有機器人包括谷歌機器人和所有其他機器人與Htaccess

+2

你可以阻止所有好的機器人,但是你不能阻止所有的壞機器人,因爲你沒有辦法弄清楚壞機器人和人類之間的區別。你可以做的最好的事情是用htaccess密碼鎖定網站或通過ip限制它。 –

+0

你可以給所有已知的殭屍程序提供代碼嗎? –

+0

對於現在和將來遵守robots.txt「標準」的所有(好)機器人,您應該使用robots.txt文件。合規機器人甚至不會向您的網站發出請求。 – MrWhite

回答

1

有沒有辦法禁止所有,但你可以禁止一些知名的。要阻止Google,Yandex和其他衆所周知的搜索引擎,請檢查他們的文檔,或添加HTML機器人NOINDEX,nofollow元標記。

對於Google檢查Googlebots bot doc他們有。或者乾脆加入谷歌機器人:

RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR] 
    RewriteCond %{HTTP_USER_AGENT} ^Mediapartners [OR] 
    RewriteCond %{HTTP_USER_AGENT} ^AdsBot [OR] 

有關的.htaccess你將有一個長長的清單,如:

RewriteEngine On 
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Bot\ mailto:[email protected] [OR] 
RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Custo [OR] 
RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR] 
RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR] 
RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR] 
RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR] 
#... more entries, not showing you the whole list 
# as it may contain false positives, find them yourself. 
RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WebZIP [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Wget [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Widow [OR] 
RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR] 
RewriteCond %{HTTP_USER_AGENT} ^Zeus 
RewriteRule .* - [F] 

找到您想要的清單,或檢查機器人的網頁,看看有什麼PARAMS他們正在設置。我從一個正在運行的應用程序中找到了此設置。

+0

感謝您的回覆。但是答案中沒有Googlebot代碼?爲什麼? –

+0

我告訴你如何做到這一點,剩下的就在你身上。對於谷歌:請參閱我給你的頁面,添加這些漫遊器 –

+0

謝謝老兄!你可以給谷歌代碼 –