網絡無法訪問：robots.txt文件無法訪問

Question

我得到錯誤「網絡無法訪問：robots.txt文件無法訪問」嘗試添加我的網站在谷歌Webmaster tools ->http://www.hyponomist.com/

時，您可以檢查我的robots.txt at here和sitemap.xml at here

我有閱讀其他職位，但無法解決/理解。是什麼導致了這個問題。此外，我嘗試使用Googlebot抓取工具下載網頁，但得到同樣的錯誤。

任何人都知道嗎？

在此先感謝！

Answer 1

當用戶代理字符串表示請求來自Googlebot時，您的網絡服務器返回503錯誤，但當它來自瀏覽器時，該錯誤消息爲200。如果您使用http診斷工具，如Fiddler（http://fiddler2.com/），您可以看到這一點。

如果您使用Fiddler發送相同的請求，一個瀏覽器會發出：

GET http://www.hyponomist.com/robots.txt HTTP/1.1 
Host: www.hyponomist.com 
Connection: keep-alive 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1700.72 Safari/537.36 
Accept-Encoding: gzip,deflate,sdch 
Accept-Language: en-US,en;q=0.8 

的迴應是：

HTTP/1.1 200 OK 
Server: nginx/1.4.4 
Date: Fri, 10 Jan 2014 21:34:42 GMT 
Content-Type: text/plain; charset=UTF-8 
Transfer-Encoding: chunked 
Connection: keep-alive 
Retry-After: 18000 
Last-Modified: Fri, 10 Jan 2014 20:43:28 GMT 
Content-Encoding: gzip 

如果您更改用戶代理來模仿谷歌機器人：

GET http://www.hyponomist.com/robots.txt HTTP/1.1 
Host: www.hyponomist.com 
Connection: keep-alive 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 
User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 
Accept-Encoding: gzip,deflate,sdch 
Accept-Language: en-US,en;q=0.8 

然後迴應是：

HTTP/1.1 503 Service Temporarily Unavailable 
Server: nginx/1.4.4 
Date: Fri, 10 Jan 2014 21:35:25 GMT 
Content-Type: text/html; charset=iso-8859-1 
Content-Length: 234 
Connection: keep-alive 
Retry-After: 18000 

到底爲什麼它這樣做，我不能告訴你。 503通常是服務器暫時超載時發送的錯誤，但顯然這不是這種情況。也許你的防火牆配置不好，並根據請求頻率將Googlebot列入黑名單？看看你的防火牆設置和你的服務器配置。

Answer 2

刪除尾部斜槓（使用http://www.hyponomist.com而不是http://www.hyponomist.com/）可以幫助