如何在索引到谷歌時阻止一個URL？

Question

我有一個開發服務器，我有100個網站（文件夾）放置但我指向每個文件夾與另一個域，但我仍然可以訪問該文件夾使用服務器IP或域的權利？如何停止索引由服務器的ip或域打開的url？

如：

服務器是：myserver.com 網站（文件夾）：mywebsite

我可以訪問此像myserver.com/mywebsite

我呼籲其他域newwebsite.com和指着mywebsite文件夾這是目前在myserver.com然後我就可以使用newwebsite.com訪問同一個文件夾，我需要停止索引myserver.com/mywebsite ..任何一個可以幫助我在這？提前致謝。

Answer 1

在您添加到谷歌的版本庫，你可以添加一個文件，每一個網站叫Robots.txt。此文件包含您的所有規則：

1. 將對哪些頁面和URL進行索引並遵循。
2. 哪些URL拒絕抓取工具訪問爲隱藏點。
3. 你可以在這個documentation瞭解所有其他規則。

例如，您可以阻止在各個領域您最喜歡的網址（或子域）這樣的：

User-agent: * 
Disallow: /~joe/junk.html 
Disallow: /~joe/foo.html 

不記得robots.txt文件必須放置在每個網站的根目錄被抓取工具檢測到。 問候