我想知道是否有一種方法在我的robots.txt來包括在我的網站索引的任何URL阻止谷歌的線路,包含特定的文本。阻止谷歌索引我的分頁系統
我有不同的部分,它們都含有不同的網頁。我不希望谷歌索引第2頁,第3頁等,就在主網頁。
的URL結構,我有如下:
http://www.domain.com/section
http://www.domain.com/section/page/2
http://www.domain.com/section/article_name
有沒有辦法把我的robots.txt文件的方式,以不包含指數的任何URL:
/page/
謝謝推進每個人!
我看到的是,文章把URL www.domain.com/section/article_name唯一的問題,所以不允許*節後/會禁止物品,如果URL中包含「/ page」,我可以不接受這個URL嗎?感謝您的幫助,您的答案几乎完美! – Cristian
@Cristian - 使用谷歌的網站管理員工具,如果你想要更多的控制。 –
@Ramhound我使用谷歌網站管理員,我找不到,我可以做我問什麼,你能提供一些指導?使用這種 – Cristian