2009-09-28 59 views
1

我們有一個網站地圖在我們的網站,http://www.gamezebo.com/sitemap.xml谷歌地圖和robots.txt的問題

一些在Sitemap中的網址,在網站管理員中心爲被封鎖我們的robots.txt所報告,看,gamezebo.com/robots.txt !雖然這些網址在Robots.txt中不被禁用。還有其他類似的網址,例如,gamezebo.com/gamelinks存在於我們的站點地圖中,但它被報告爲「受robots.txt限制的URL」。

此外,我在網站管理員中心顯示「Line 21:Crawl-delay:10 Rule by Googlebot ignored」的解析結果。這是什麼意思?

感謝您的幫助,

謝謝。

回答

2

抓取延遲不是robots.txt文件格式的實際規範,這樣線將被忽略......你可以設置自定義抓取速度,如果你想在google webmaster tools下設置>抓取速度