我想從搜索引擎中隱藏public_html中的一個名爲（beta）的文件夾，它也是所有它的子文件夾和文件，是否必須將該文件放在根文件夾（/）中，並將robots.txt的內容像在的public_html下面隱藏一個特定的文件夾，它是子文件夾和文件？
User-agent: *
Disallow: /public_html/beta
OR
放的robots.txt和做內容爲以下
User-agent: *
Disallow: /beta
最好的解決辦法是隱藏從測試你的所有子文件夾和文件。您可以按如下定義的robots.txt：
用戶代理：*
不允許：/測試*/
現在，所有的搜索引擎不會抓取所有子目錄和文件，然後測試。
重要的是公共URL，而不是服務器的實際物理文件夾。
所以當你有一個網站在example.com/cooking/index.html，你的robots.txt需要在example.com/robots.txt。對於sports.example.com/football/blog它將是sports.example.com/robots.txt。
robots.txt必須位於根目錄中。
www.yoursite.com/robots.txt
這是你所需要的：
用戶代理：*
不允許：/文件夾/東西
的東西作爲要禁止的文件夾的名稱
此外，請注意，您只想阻止名爲something的子文件夾。如果你也有一個文件中指定的東西，你不希望禁止，不是這樣做：
用戶代理：*
不允許：/文件夾/事/