robots.txt中的每個頂級域名的站點地圖參考

我們使用robots.txt來引用我們的站點地圖索引文件。現在我們將發佈新的不同的國家。我們在TLD .de下的網站提供了一個robots.txt，其中包含對我們索引文件的引用。索引文件是指包含loc XML節點中的.de鏈接的不同站點地圖。其他語言環境（例如.fr）列在下面的xhtml:link。robots.txt中的每個頂級域名的站點地圖參考

例子：

<url> 
    <loc>https://xy.de/hallo</loc> 
    <xhtml:link>https://xy.fr/hello</xhtml:link> 
</url>

現在的問題是，我們應該用我們的站點地圖索引引用到我們的.fr索引添加一個robots.txt嗎？或者僅僅將參考放在德語.de robots.txt中就足夠了，因爲這些位置是使用其他位置的替代位置來描述的？或者，我們是否應該使用「當前」語言環境來反轉loc XML節點？例如。在https://xy.fr/robots.txt下，loc XML節點中是否應該有一個以.fr鏈接引用的站點地圖？

來源

2016-02-26 Tim

Sitemaps protocol沒有提及xhtml:link元素，因此遵循該協議的消費者可能會忽略它。

作爲Sitemap can only contain URLs from the same host，並且robots.txt文件也只適用於它的主機，典型的方法是給每個主機指向該主機的站點地圖（with an absolute URL）自己的robots.txt文件。

# robots.txt from http://fr.example/robots.txt 
Sitemap: http://fr.example/sitemap.xml

# robots.txt from http://de.example/robots.txt 
Sitemap: http://de.example/sitemap.xml

站點地圖可以在不同的主機上託管，但你仍然需要證明通過robots.txt文件的所有權（見 Sitemaps & Cross Submits）。

來源

2016-02-27 15:58:17 unor

robots.txt中的每個頂級域名的站點地圖參考

回答

相關問題