問題與

我使用我們的門戶網站一個非常簡單的robots.txt文件是如下問題與

用戶代理Robots.txt文件驗證：* 不允許：/ 允許：/robots.txt的

的問題是，當我使用一個在線驗證並指向我的robots.txt文件的副本實況顯示了這個陌生的多餘的字符和錯誤

Line 1 ï»¿User-agent: * 

This line doesn't follow a correct syntax. The correct syntax is: : , where "field" can be "User-agent" or "Disallow". Please refer to Robots Exclusion Standard page for more informations.

請注意奇怪字符的只顯示用戶代理之前。建議？

在此先感謝

來源

2012-02-28 user446923

保存爲utf時，可能是字節順序標記（BOM）嗎？如果這樣保存爲ASCII。 – ChristopheD 2012-02-28 23:24:15

請把它作爲答案發布，這就是發生了什麼。保存爲ANSI文件，並沒有問題。 – user446923 2012-02-29 00:00:07

Google的robot.txt測試人員應該在這個問題上多加註意。 – JoshYates1980 2016-04-09 16:24:39

什麼可能會導致這就是你在文件的開頭有一個BOM（字節順序標記），因爲你是在UTF儲蓄。如果是這樣，解決此問題的最簡單方法是使用ASCII重新保存robots.txt文件。

來源

2012-02-29 06:52:36 ChristopheD

謝謝，真的有幫助！ – user446923 2012-04-16 06:23:18

記事本是否這樣做？賦予以ASCII碼保存的能力？ – JoshYates1980 2016-04-09 16:20:51

回答

相關問題