robots.txt的多個域

我們必須爲每種語言robots.txt的多個域

而且那麼我們對每個站點都有不同的sitemap.xml。在robots.txt中，我想爲每個域添加網站地圖參考。

robots.txt只能通知搜索引擎Sitemaps的自己的域名。因此，當它抓取該域名的robots.txt時，它將是唯一的榮譽。如果所有三個域名都映射到同一個網站並共享robots.txt，那麼搜索引擎將會有效地找到每個網站地圖。

2012-07-07 15:41:12

這些都是共同主辦三種不同的網站。當然，內容是不同的，他們所擁有的sitemap.xml文件也是不同的。 – 2012-07-11 14:16:09

這是它的唯一答案，它只有一個upvote ..互聯網的其餘部分似乎重寫了robots.txt到域特定的一個使用htaccess，但這更有意義 – Erfan 2015-10-04 05:55:26

我在.htaccess中使用以下解決方案，在所有域重定向和www到非www重定向之後。

# Rewrite URL for robots.txt 
RewriteRule ^robots\.txt$ robots/%{HTTP_HOST}.txt [L]

在您的根目錄中創建一個名爲robots的新目錄。創建一個充滿每個域的特定機器人信息的文本文件。

2013-06-07 10:50:16 hans2103

回答