的robot.txt語法不明白

-1

我在robot.txt的第一行收到此錯誤User-agent: *的robot.txt語法不明白

我的robot.txt如下：

User-agent: * 
Disallow: /Search/ 
Disallow: /_layouts/ 
Disallow: /blog/_layouts/ 
Disallow: /Blog/_layouts/ 
Disallow: /ReusableContent/ 
Disallow: /Reports%20List/ 
Disallow: /WorkflowTasks/ 
Disallow: /SiteCollectionImages/ 
Disallow: /Documents/Forms/ 
Disallow: /Pages/Forms/ 
Disallow: /Internet/

我想通有一個空格/Reports%20List/ 。這是否會造成問題？我不太確定。任何幫助，將不勝感激。

來源

2013-05-21 Preetam

「出現此錯誤」 - 從哪裏？它應該是'User-Agent'的大寫'A'嗎？ – Rup

我公司的SEO人員正在收到此錯誤。我環顧四周。 'A'不需要成爲資本。 – Preetam

所以你不能自己重現這個錯誤？你應該問他們需要什麼來重現它。 – Rup

這裏的問題是在UTF-8格式化的robots.txt文件（所謂的BOM（字節順序掩碼））開頭的3個不可見字節。此BOM是可選的。是的，您需要格式化UTF-8文件，但Google目前不喜歡預期清晰簡單的robots.txt文件中的可選物料清單，並且分析失敗。

您可以閱讀更詳細的解釋HERE。

來源

2014-12-13 20:53:08 user3130351

的robot.txt語法不明白

回答

相關問題