1. 首頁
  2. 問答
  3. Sitemap包含被Google網站管理員工具下的robots.txt阻止的網址

Sitemap包含被Google網站管理員工具下的robots.txt阻止的網址

2014-12-20 72 views
0

真的很沮喪。這是因爲技術錯誤或Google的緩存效應？我需要再等幾天嗎？Sitemap包含被Google網站管理員工具下的robots.txt阻止的網址

自從昨晚以來，我一直更新我的漫遊器文件和站點地圖到谷歌網站管理員工具幾次。但每次我重新提交站點地圖時，它都會說：

Sitemap contains urls which are blocked by robots.txt.

似乎站點地圖中的所有URL都被阻止。例子：

http://janwawa.com/en 
http://janwawa.com/en/ 
http://janwawa.com/en/album

這是我的robots文件

User-agent: * 
Disallow: /admin/ 
Disallow: /cgi-bin/ 
Disallow: /qsystem/ 
Disallow: /piwik/ 
Disallow: /webpublisher/ 
Disallow: /en/quotation/ 
Disallow: /th/quotation/

這是我的網站地圖

<?xml version="1.0" encoding="UTF-8"?> 
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:xhtml="http://www.w3.org/1999/xhtml"> 

    <url> 
     <loc>http://janwawa.com/en</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/hc005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/hk005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/jp005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/kr005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ib005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ib006.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ib010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ij005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/im005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/eu005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/eu010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m010f.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m015.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m015f.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m020.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m025.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m030.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m035.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m040.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m045.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m050.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m055.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m060.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m065.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m070.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/m075.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms015.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms020.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms025.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms030.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms035.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms040.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms045.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/ms050.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/s005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/s010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/hd005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/hd010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/hd015.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/t005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/tour/vn005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/calendar/month.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/heritage.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/visits.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/meals.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/shopping.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/album</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/contact.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/calendar/month.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/en/start_here.php</loc> 
    </url> 
     <url> 
     <loc>http://janwawa.com/th</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/hc005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/hk005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/jp005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/kr005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ib005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ib006.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ib010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ij005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/im005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/eu005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/eu010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m010f.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m015.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m015f.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m020.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m025.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m030.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m035.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m040.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m045.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m050.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m055.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m060.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m065.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m070.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/m075.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms015.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms020.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms025.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms030.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms035.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms040.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms045.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/ms050.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/s005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/s010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/hd005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/hd010.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/hd015.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/t005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/tour/vn005.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/calendar/month.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/heritage.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/visits.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/meals.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/shopping.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/album</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/contact.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/calendar/month.php</loc> 
    </url> 
    <url> 
     <loc>http://janwawa.com/th/start_here.php</loc> 
    </url> 

<url> 
    <loc>http://janwawa.com/en/</loc> 
    <xhtml:link 
       rel="alternate" 
       hreflang="th" 
       href="http://janwawa.com/th/" 
       /> 
    <xhtml:link 
       rel="alternate" 
       hreflang="en" 
       href="http://janwawa.com/en/" 
       /> 
</url> 

<url> 
    <loc>http://janwawa.com/th/</loc> 
    <xhtml:link 
       rel="alternate" 
       hreflang="en" 
       href="http://janwawa.com/en/" 
       /> 
    <xhtml:link 
       rel="alternate" 
       hreflang="th" 
       href="http://janwawa.com/th/" 
       /> 
</url> 

</urlset>

來源

2014-12-20 Lawrence L.

回答

0

好吧，我一直在你的網站一次，看了你的網站導航以及的robots.txt ，你似乎做得對，但問題是谷歌網站管理員工具。 這裏有一些提示，你應該嘗試，讓我知道，如果你能夠弄清楚與否， 去你的網站管理員dashborad - >選擇網站 - >作爲谷歌 - >然後把任何網址屬於你的網站目錄想讓Google抓取，然後提交索引，如果谷歌沒有發現任何錯誤，那麼您的問題將通過執行下面的方法 解決方法再次去谷歌抓取，然後輸入h ttp：//janwawa.com/en並使用CRAWL DIRECT URL AND LINK選項提交索引。

好吧讓我知道你是否發現任何問題。

來源

2014-12-21 13:34:18

+0

感謝您的幫助。我現在可以看到警告消息已經消失，Google已經開始編制索引。我提交了118個鏈接，它索引了17個，並在最後兩天停在那裏。我希望它會很快繼續索引。 –

+0

這表明在新上傳的robots.txt有效之前至少會有幾個小時的延遲。 –

相關問題

 相關問題