如何在服務器上禁止的目錄使用robots.txt

我在同一個服務器的兩個領域，我想禁止搜索引擎在其中的一個：如何在服務器上禁止的目錄使用robots.txt

www.example.com - >指向根 www.example.net - >指向目錄

我加入的.net爲禁止所有目錄的robots.txt的用於www.example.net這樣的：

User-agent: * 
Disallow:/

我做了正確的事情？我是否只在.net禁止搜索引擎？

2014-10-03 Neil

如果您的文件可在'www.domain.com/robots.txt'它將被讀取。 – 2014-10-03 07:23:08

@hebron OP想知道'.net'的'.com'重定向是否會導致他們的'robots.txt'不能被讀取。看到我的答案.. – cybermonkey 2014-10-03 07:30:53

這不是我如何理解他的問題，我的理解是'.net'域指向'.com'域下面的文件夾。並且他已將「robots.txt」添加到該目錄。 – 2014-10-03 07:35:36

正如上this page可以看出，是的，你這樣做完全正確的事情：

User-agent: * 
Disallow:/

如果這兩個網站都位於同一目錄下，有作爲就我沒辦法意識到只能針對一個站點禁止robots.txt。但是，正如同一頁也指出的那樣，這僅適用於well behaved robots，這意味着某些搜索引擎可以完全關閉robots.txt。

如果你真的需要的.net從搜索引擎固定，這樣做的一個簡單的方法是將在.htaccess（用戶名和密碼保護的任何用戶訪問.net也必須有用戶名/密碼）：

AuthType Basic 
AuthName "Password Protected Area" 
AuthUserFile /path/to/.htpasswd 
Require valid-user

htpasswd的：

[user]:[password]

2014-10-03 07:19:58 cybermonkey

感謝您的信息！我知道這是不可能的，只禁止一個目錄或域，因爲它們在同一個目錄中。 – Neil 2014-10-03 09:10:48

回答