最好的robots.txt練習隱藏祕密文件夾

Question

我在我的網站有一個祕密文件夾，我不想讓搜索引擎知道它。我沒有在robots.txt的Disallow規則中放置文件夾名稱，因爲在robots.txt中寫入此文件夾名稱意味着告訴我的訪問者該祕密文件夾。

我的問題是，即使我沒有任何鏈接發佈到這個文件夾，搜索引擎是否能夠知道這個文件夾/抓取它？

Answer 1

隱藏所有人的唯一真正可靠的方法是將其放在密碼後面。如果你絕對不能把它後面的密碼，一個創可貼解決方案是命名的文件夾類似：

http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/ 

，然後阻止只是名字的第一個部分，像這樣：

Disallow: /secret- 

這將有效地阻止目錄而不透露其全名。它會阻止任何遵從robots.txt的爬蟲爬取目錄，但它不會使目錄容易被惡意爬蟲找到。只是不要誤以爲這是實際的安全。這將保持主要的搜索引擎。除此之外沒有任何保證。再一次，讓每個人遠離祕密目錄的唯一真正可靠的方法是將目錄放在密碼後面。

Answer 2

是的，他們可以抓取它。

您的文件夾根本不是「祕密」。快速搜索curl命令行來下載整個站點，然後在您的站點上嘗試它來說服自己，您的安全方法是無效的。

這裏是一個很好的例子：download allfolders subfolders and files using wget

你可以的.htaccess防止劑能夠請求目錄列表，而這可能會保護你相當不錯，如果你不給你的文件夾的名稱明顯像「網站」，但我會測試它。 請參閱deny direct access to a folder and file by htaccess