159
在robots.txt中,我可以爲站點地圖文件編寫以下相對URL嗎?在robots.txt中可以使用相對的站點地圖網址嗎?
sitemap: /sitemap.ashx
還是我必須使用完整的(絕對)URL的sitemap文件,如:
sitemap: http://subdomain.domain.com/sitemap.ashx
爲什麼我想知道:
- 我自己一個新的博客服務, www.domain.com,允許用戶在accountname.domain.com上發佈博客。
- 我使用通配符,那麼所有子域(賬戶)指出:「blog.domain.com」。
在blog.domain.com中,我放置了robots.txt讓搜索引擎找到站點地圖。 但是,由於通配符,所有用戶賬戶共享同一個robots.txt file.Thats爲什麼我不能用第二個選擇。而現在我不能使用URL重寫txt文件。 (我想以後版本的IIS可以處理這個問題?)
請注意@ UNOR的例子有:資本S.地圖這很重要,因爲robots.txt的是區分大小寫的。 – BodgeIT
而且對案件的話題,[robotstxt.org(http://www.robotstxt.org/robotstxt.html)指定的文件被命名爲'robots.txt'沒有大寫R. – khargoosh
如果該網站是加載https,使用http提到的Sitemap網址。這很好嗎?或者,我們是否必須根據協議放置站點地圖網址? – Shams