如何從Google索引中刪除子域名，鏈接到主域名

Question

誰能告訴我如何從谷歌索引中刪除子域名，鏈接到主域名。

可以說我的域名是www.myweb.com，我的子域名是cdn.myweb.com。現在這裏子域的Document Root與主域相同。所以我不能使用robot.txt來停止谷歌索引，因爲它會刪除主要域鏈接的索引。

我在google，bing和stackoverflow上搜索，但是我找不到問題的完美答案。有沒有解決你的方面？

Answer 1

您可以爲此使用動態robots.txt。 事情是這樣的......

httpd.conf文件（的.htaccess）：

RewriteRule /robots\.txt$ /var/www/myweb/robots.php 

robots.php：

<?php 
header('Content-type: text/plain'); 

if($_SERVER['HTTP_HOST']=='cdn.myweb.com'){ 
    echo "User-agent: *\n"; 
    echo "Disallow: /\n"; 
}else{    
    include("./robots.txt");  
} 

Answer 2

我使用nginx的，並且在同多個子域服務器塊。我想將www子域名納入Google的索引，並將其他子域名排除在外。

首先，在我的nginx配置服務器塊中，我添加了以下內容以根據域爲/robots.txt提供2個不同的文件。

location ~ /robots.txt { 
    if ($host = 'www.example.com') { 
     rewrite ^/robots\.txt /robots.www.txt last; 
    } 
    } 

然後在我的站點的根目錄下，有以下2個文件：

• 的robots.txt哪些塊爬行，是所有子

# Do not crawl subdomain 
User-Agent: * 
Disallow:/

默認

• robots.www.txt，允許所有網站的爬行，並且只在擔任www.example.com/robots.txt

User-agent: * 
Disallow: 

Answer 3

的第一件事是添加的robots.txt但對我來說，因爲我的網頁是已經用CDN子域名索引，機器人已經太晚了。我發現的最好方法是去谷歌網站管理員工具，添加我的cdn域（cdn.mysite.com）。然後轉到Google索引 - >刪除網址，並刪除網址的/。生效需要幾天時間。