如何解決搜索引擎的重複內容？

Question

我有2個網站：Site1.com和Site2.com。

Site1.com有2個頁面：a.htm和b.htm。 Site2.com有3個頁面：a.htm，b.htm和c.htm。

頁面a.htm和b.htm在2個站點處重複。

我想要搜索引擎從Site1和c.htm從Site2索引a.htm和b.htm。我如何以及在哪裏指定這個偏好？ 如果可能，我寧願不必在頁面級別指定我的首選項（意味着必須編輯每個頁面）。

謝謝。

Answer 1

在每臺服務器的根目錄上創建一個robots.txt文件，指定應將哪些頁面編入索引。

例如，在站點2：

User-agent: * 
Disallow: /a.htm 
Disallow: /b.htm 

Answer 2

你不能直接 - 沒有搜索引擎提供這種「填寫這種形式」類型的控制。

你兩個選擇：

1）使用robots.txt告訴爬蟲NOT指數site1的頁面
2）使用301「永久移動」重定向告知爬蟲去看看站點2而不是SITE1 。