不公開一個子域或目錄根據robotstxt.org

Question

根據robotstxt.org

第一個答案是解決方法：你可以把你 不想機器人在一個獨立的子訪問文件目錄，使網絡上 目錄未可列（通過配置您的服務器）

如何配置我的服務器有一個不公開的目錄或子？

Answer 1

這取決於服務器及其配置。

因爲列出文件夾的內容可能是隱私/安全問題，所以大多數服務器可能在默認情況下不會這樣做。僅在沒有index.html文件時，某些服務器可能會顯示文件夾內容。

對於Apache，請參閱mod_autoindex。

，如果你可以很容易地測試你的服務器列表的內容或不：

1. 創建一個文件夾test
2. 添加dummy.txt文件
3. 訪問此文件夾的網址，例如http://example.com/test/

如果您收到錯誤消息，您的服務器不會列出內容。如果您看到包含dummy.txt的鏈接列表，您的服務器會列出內容。