是否可以在同一個robots.txt文件中列出不同網域的網站地圖？

我們有多個來自同一個Sitecore實例和同一個生產Web服務器的網站。每個網站都有自己的主要和Google新聞網站地圖，到目前爲止，我們已經在.NET網站的單個robots.txt文件中包含了每個網站的網站地圖規範。是否可以在同一個robots.txt文件中列出不同網域的網站地圖？

我們的搜索引擎優化專家提出了同一robots.txt中存在的不同域名作爲可能的問題，而且我找不到任何明確說明某種方式的文檔。謝謝。

來源

2014-01-15 Iucounu

請檢查這個問題，我認爲它可以幫助你：http://stackoverflow.com/questions/19707954/implementing-sitecore-multisite-robots-txt-files/19708405#19708405 – 2014-01-15 21:23:14

我非常欣賞鏈接。我仍然無法找到這是否真的有必要的文檔。 :) – Iucounu

我不是SEO專家，但我知道，它是更好的robots.txt通知搜索引擎的sitemaps爲它自己的域名。 – 2014-01-15 21:36:49

這對谷歌至少應該是可以的。但是，它可能不適用於Bing等其他搜索引擎。

根據https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt：

網站地圖：[absoluteURL]

[absoluteURL]指向站點地圖，站點地圖索引文件或同等網址。 該URL不必與robots.txt文件位於同一主機上。可能存在多個站點地圖條目。作爲非組成員記錄，這些記錄與任何特定的用戶代理都沒有關係，如果不被禁止，可能會跟隨所有爬蟲。

來源

2014-01-15 23:16:50 plasticinsect

謝謝！很有幫助。 – Iucounu

實現此目標的最佳方法是從Sitecore內容樹處理Robots.txt。

我們也有類似的結構，我們從單個sitecore實例提供多個網站。

我已經爲此寫了一篇博客，請在下面找到它。這正是你想要的。

http://darjimaulik.wordpress.com/2013/03/06/how-to-create-handler-in-sitecore/

來源

2014-01-17 08:18:27

是否可以在同一個robots.txt文件中列出不同網域的網站地圖？

回答

相關問題