該代碼是否阻止漫遊器爬取我的頁面？

Question

我的網站曾經在google，yahoo和bing上有很高的索引。但突然間它完全消失了。

我已經重新提交給谷歌，創建一個站點地圖等嘗試和重新索引我的網站沒有成功。所以我讀了關於檢查我的.htaccess文件，看看我是否被黑客入侵。

我在我的.htaccess文件中遇到以下問題。

RewriteEngine On 
RewriteCond %{HTTP_USER_AGENT} ^.*(bot|urp|msn).* [NC] 
RewriteRule ^(.*) 501.html [NS,NC,L] 

就是有人能告訴我，如果這是我的抓取網頁或沒有阻止殭屍？

在此先感謝！

Answer 1

是的，這個規則阻止他們訪問您的網站。刪除這三條線，給他們適當的訪問。如果您想阻止他們訪問您網站的特殊部分，請改爲使用robots.txt。