他們如何以及爲何將他們的robots.txt文件重定向到他們網站的主頁上？

Question

A robots.txt文件通常只是您的網站根目錄下的文本文件。例如，您可以查看www.amazon.com/robots.txt。但今天，我發現一個網站有一個奇怪的robots.txt文件。如果你只是鍵入

http://xli.bugs3.com/robots.txt 

它不顯示文本文件，而是它仍然顯示該網站的主頁。 這怎麼可能發生，爲什麼網站管理員會這樣做？

Answer 1

假設一個相當傳統的/基本的服務器設置，它僅僅是文件，如你說，這可能僅僅是一個htaccess redirect rule。該規則可能類似於「如果文件在服務器上則提供文件，否則只是提供索引」。

或者它可能是一個應用服務器像Rails的，那裏是服務器的目錄結構和URL路徑名之間沒有直接的關係。