2012-10-17 42 views
2

我跑我的網站通過http://www.frobee.com/robots-txt-check它回來了幾個錯誤。缺少User-agent指令!找到允許 - 這是什麼意思?

這裏是我的robots.txt文件:

User-agent: * 
Disallow: /admin/ 

# Allowable Index 
Allow: /*?p= 
Allow: /blog/ 
Allow: /catalog/seo_sitemap/category/ 
Allow: /catalogsearch/result/ 

# Directories 
Disallow: /404/ 
Disallow: /app/ 
Disallow: /cgi-bin/ 
Disallow: /downloader/ 
Disallow: /includes/ 
Disallow: /js/ 
Disallow: /lib/ 
Disallow: /magento/ 
Disallow: /media/ 
Disallow: /pkginfo/ 
Disallow: /report/ 
Disallow: /skin/ 
Disallow: /stats/ 
Disallow: /var/ 

# Paths (clean URLs) 
Disallow: /index.php/ 
Disallow: /catalog/product_compare/ 
Disallow: /catalog/category/view/ 
Disallow: /catalog/product/view/ 
Disallow: /catalogsearch/ 
Disallow: /checkout/ 
Disallow: /control/ 
Disallow: /contacts/ 
Disallow: /customer/ 
Disallow: /customize/ 
Disallow: /newsletter/ 
Disallow: /poll/ 
Disallow: /review/ 
Disallow: /sendfriend/ 
Disallow: /tag/ 
Disallow: /wishlist/ 

# Files 
Disallow: /cron.php 
Disallow: /cron.sh 
Disallow: /error_log 
Disallow: /install.php 
Disallow: /LICENSE.html 
Disallow: /LICENSE.txt 
Disallow: /LICENSE_AFL.txt 
Disallow: /STATUS.txt 

# Paths (no clean URLs) 
Disallow: /*.js$ 
Disallow: /*.css$ 
Disallow: /*.php$ 
Disallow: /*?p=*& 
Disallow: /*?SID= 
Disallow: /*?* 

我得到的「丟失的用戶代理指示的錯誤!找到允許'和'缺少用戶代理指令!發現不允許'。我不知道爲什麼?

謝謝

回答

1

在robots.txt中,空行用於分隔多個指令。只需刪除或評論空行,你應該沒問題。

+0

神奇,這是有道理的。感謝您的回覆。 – user1752686

+0

然後隨意接受/評分答案... – Preuk

+0

如果您想保持視覺上的分離,您可以評論空行('#')。 – unor