如何阻止搜索引擎找到sub.domains？

我想阻止像谷歌和雅虎這樣的搜索引擎抓取像user.example.com這樣的用戶sub.domains，我該怎麼做？如何阻止搜索引擎找到sub.domains？

2010-09-07 AAA

此問題似乎是無關緊要的，因爲它不在討論範圍內，如幫助中心所述。 – Will 2013-08-29 12:41:02

在您的Web服務器中使用robots.txt文件。

所以，在你的子域放在一個robots.txt文件看起來像這樣：

User-agent: * 
Disallow:/

2010-09-07 01:28:41

我必須在文件中添加子域名，或者只是在這裏添加子域名。我也可以使用disallow：全部謝謝！ – AAA 2010-09-07 01:32:29

@AAA：不，所有你需要的就是上面的... Disallow all基本上是'Disallow：/'，因爲它禁止機器人訪問根目錄下的任何頁面（所有頁面）。 – 2010-09-07 01:40:29

太好了。謝謝安德魯。 – AAA 2010-09-07 01:56:50

所有的網站都有一些具體規定，因爲這是他們不希望被搜索引擎抓取...

2010-09-07 16:36:41 AAA

回答