2014-01-23 44 views

回答

0

在您的子域中放置一個robots.txt文件。 Read here for more information

+0

你好,讓我解釋一下如果目錄路徑是www.example.com的var/www/public-html和beta.example.com的var/beta/public-html。 www.example.com和beta.example.com共享相同的文件。現在如何解決這個問題? – user3226400

0

這是一個棘手的問題。您可能需要可能涉及一些.htaccess欺騙!

RewriteEngine on 
RewriteCond %{HTTP_HOST} ^beta.example.com$ 
RewriteRule ^robotx\.txt$ robots-beta.txt 

然後加:

User-agent: * 
Disallow:/

的機器人,beta.txt文件

這應該所有的爬蟲(誰尊重的robots.txt)發送到正確的文件與「不允許:/「如果他們來自您的網站的beta子域。

+0

您還應該使用Google網站管理員刪除您的子網域列表。 – Steve