robots.txt的使用

Question

谷歌剛剛泛起了成千上萬的錯誤在我的鏈接跟蹤重複的內容我使用。

我想使它因此谷歌&任何其他搜索引擎不訪問鏈接跟蹤我的網頁。

我想這些網頁，以禁止這些機器人，我的網頁是：

http://www.site.com/page1.html 
http://www.site.com/page2.html 

我怎麼會寫我的robots.txt，使所有的機器人時，他們在我的網頁無法訪問這些鏈接？

Answer 1

創建robots.txt包含以下文本：

User-Agent: * 
Disallow: /page1.html 
Disallow: /page2.html 

該文件必須被放置在http://www.site.com/robots.txt。

欲瞭解更多信息，請參閱Wikipedia。

此外，谷歌有一個robots.txt tester，可從他們的網站管理員工具，它可以讓你驗證它的格式是否正確。

Answer 2

的robots.txt必須放置在您的網站的根目錄，廣告將包含：

User-agent: * 
Disallow: page1.html 
Disallow: page2.html 

「用戶代理：*」意味着每個SE不會跟隨在不允許目錄/網頁的鏈接

編輯：你也應該把這個元標記您的1和Page 2

<meta name="robots" content="NOINDEX, NOFOLLOW"/>