2012-06-29 34 views
-1

我想知道是否有一種方法在我的robots.txt來包括在我的網站索引的任何URL阻止谷歌的線路,包含特定的文本。阻止谷歌索引我的分頁系統

我有不同的部分,它們都含有不同的網頁。我不希望谷歌索引第2頁,第3頁等,就在主網頁。

的URL結構,我有如下:

http://www.domain.com/section 
http://www.domain.com/section/page/2 
http://www.domain.com/section/article_name 

有沒有辦法把我的robots.txt文件的方式,以不包含指數的任何URL:

/page/ 

謝謝推進每個人!

回答

2
User-agent: Googlebot 
Disallow: http://www.domain.com/section/* 

,或者根據您的要求:

User-agent: Googlebot 
Disallow: http://www.domain.com/section/page/* 

您也可以使用Google Webmaster tools而不是robots.txt文件

+0

我看到的是,文章把URL www.domain.com/section/article_name唯一的問題,所以不允許*節後/會禁止物品,如果URL中包含「/ page」,我可以不接受這個URL嗎?感謝您的幫助,您的答案几乎完美! – Cristian

+0

@Cristian - 使用谷歌的網站管理員工具,如果你想要更多的控制。 –

+0

@Ramhound我使用谷歌網站管理員,我找不到,我可以做我問什麼,你能提供一些指導?使用這種 – Cristian

0

您可以直接使用 不允許:/頁

+0

我認爲只有禁止使用的網址/頁開始,我沒有? – Cristian

1
  1. 轉到GWT /抓取/ URL參數
  2. 添加參數:頁
  3. 設置爲:無網址