所有子域的單個robots.txt文件

Question

我有一個網站（example.com），並在根目錄中設置了我的robots.txt。我也有多個子域名（foo.example.com，bar.example.com，以及更多未來），它們的robots.txt將與example.com相同。我知道我可以在每個子域的根目錄下放一個文件，但我想知道是否可以將搜索任何子域上的robots.txt的抓取工具重定向到example.com/robots.txt？

Answer 1

不建議爲您的robots.txt文件發送重定向標頭，也不會正式支持它。

Google's documentation具體規定：

的robots.txt的處理重定向到禁止網址是未定義和氣餒。

但文件確實說重定向「將是一般後面」。如果您將子域名添加到Google網站管理員工具並轉到「抓取>阻止的網址」，則可以測試301重定向的子域robots.txt。它應該回來，作爲積極的工作。

但是，就這麼說，我會強烈建議您只是符合文件鏈接到位，並且每個robots.txt文件在適當的URL處以200 OK響應。這與原始的robots.txt規範以及Google的文檔非常相關，誰知道bing/yahoo會如何處理它。