這個robots.txt是什麼意思？它不允許任何機器人嗎？

User-agent: * 
Disallow: 
Disallow: /admin 
Disallow: /admin 
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

我在其中一個網站的根文件夾中找到了這個robots.txt文件。我不知道我是誰做的。這個robots.txt是什麼意思？它不允許任何機器人嗎？

我認爲這個文件不允許任何機器人管理文件夾。這很好。

但我不知道這是否阻止所有機器人在我的網站的所有文件？

我已經與這個文件改變了它：

User-agent: * 
Disallow: /admin 
Allow:/
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

PS：這個網站是沒有得到很長一段時間的任何指標。是舊的文件問題？

2011-08-22 Benjamin

除重複/ Admin條目以外的舊腳本是正確的。沒有Allow：命令，並且一個空的'Disallow：'將站點打開到機器人。

具體來說，檢查項目＃7下 '的事情，你應該避免' 和＃1下的 '技巧和訣竅'

2011-08-22 21:48:14

但是這個網站並沒有以任何方式在任何引擎中編入索引。從不索引。有很多索引頁面，但2-3個月沒有動作（我認爲舊的robots.txt文件已在2-3個月前上傳）。 – Benjamin

這可能是一個配置錯誤的問題。雖然一個空白的「Disallow：」允許訪問整個網站，但它只是在那裏，因爲至少需要一個「Disallow：」。實際上，我會放棄它。但是從新文件中刪除'Allow：'語句。另一個很好的參考：http://www.robotstxt.org/orig.html –

可能。我按照你的方式閱讀你的舊文件 - 根目錄被禁止。無論哪種方式，您的新機器人文件都是按照我希望的方式設置的。

2011-08-22 21:42:51 65Fbef05

很抱歉，但我coundn't很好地理解。你的意思是第一個文件阻止了我的根文件？或不？ – Benjamin

我相信是的。 – 65Fbef05

從我讀到的，沒有。不過，我認爲你的第二個文件會。 –

回答