Google抓取錯誤 - 無法訪問的錯誤

我的網站已成功通過Google網站站長驗證。我的crawler訪問與robot.txt也是200（成功）。但是，當我檢查「抓取錯誤」時，幾乎每個頁面都「無法訪問」，包括域主頁本身。唯一沒有錯誤抓取的頁面是附件/文件頁面（例如pdf，xls，jpg等）。這真的很奇怪。Google抓取錯誤 - 無法訪問的錯誤

我的網站是由Ruby on Rails和使用MySQL數據庫創建的。

來源

2011-03-07 KMC

你可以發佈網址嗎？ – stef 2011-03-07 07:22:37

頁面是否需要很長時間才能呈現？如果頁面花費太長時間迴應，我懷疑Google的抓取工具會放棄。考慮將Varnish放在昂貴且不包含任何用戶相關或動態內容的公共頁面之前？

來源

2011-03-07 07:23:49 stef

該網址是www.supertooling.com – KMC 2011-03-07 09:36:42

另外還有一件事是，如果我在谷歌搜索「site：supertooling.com」，唯一顯示的結果是PDF的..沒有一個頁面正在索引。 – KMC 2011-03-07 09:37:57

看起來像DNS。我用捲曲試過，它沒有反應。我也無法在瀏覽器中找到它。 curl -v http://www.supertooling.com *關於連接（）到www.supertooling.com端口80（＃0） *嘗試219.148.38.162 ...（沒有進一步） – stef 2011-03-07 10:39:15

Google抓取錯誤 - 無法訪問的錯誤

回答

相關問題