網站使用谷歌網站管理員檢測到的重複內容

Question

我們有一個基於codeigniter和WordPress子博客的網站。 /博客。

通過使用谷歌網站管理員工具和搜索結果 - 我們看到重複內容主要針對我們的主頁，在域名後面顯示以下內容。

因此，例如，在谷歌網站搜索：domainname.com在谷歌顯示：

domainname.com/?author=1 
domainname.com/?author=2 
domainname.com/?cat=1 
domainname.com/?cat=3 
domainname.com/?cat=4 
/?feed=rss2&tag=drinking-establishments 
/?feed=rss2&tag=fun 
/?feed=rss2&tag=introduction 

這些似乎從從WordPress博客生成的所有生成的，我們不知道如何解決？

Answer 1

您可以使用robots.txt文件告訴Google他們應該（而且不應該）在您的網站上查找的內容。

一個robots.txt文件應該住在這裏：example.com/robots.txt

從WordPress的食品中抽取的robots.txt的： http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

Sitemap: http://www.example.com/sitemap.xml 

# Google Image 
User-agent: Googlebot-Image 
Disallow: 
Allow: /* 

# Google AdSense 
User-agent: Mediapartners-Google 
Disallow: 

# digg mirror 
User-agent: duggmirror 
Disallow:/

# global 
User-agent: * 
Disallow: /cgi-bin/ 
Disallow: /wp-admin/ 
Disallow: /wp-includes/ 
Disallow: /wp-content/plugins/ 
Disallow: /wp-content/cache/ 
Disallow: /wp-content/themes/ 
Disallow: /trackback/ 
Disallow: /feed/ 
Disallow: /comments/ 
Disallow: /category/*/* 
Disallow: */trackback/ 
Disallow: */feed/ 
Disallow: */comments/ 
Disallow: /*? 
Allow: /wp-content/uploads/ 

背景閱讀： http://en.wikipedia.org/wiki/Robots_exclusion_standard