Google中的內容重複。搜索引擎優化Drupal

Question

我有一個Drupal網站已啓動並運行。該網站是不正確的SEO優化，有很多重複的內容獲取谷歌產生的，因爲/類，/分類等

結構爲：

/無功/網絡/應用程序的名字/包含一個定製的應用程序 /var/www/appname/drup這包含我的drupal安裝

我在網站搜索結果中搜索了一個谷歌搜索網站：appname.com，並且由於/內容存在大量重複內容，/分類，/節點等

我的robots.txt ..在/ var/WWW/appna我已經有了以下內容，但我很驚訝這些網頁仍在索引中。請指教。

User-agent: * 
Crawl-delay: 10 

Allow:/
Allow: /drup/ 

# Directories 
Disallow: /drup/includes/ 
Disallow: /drup/misc/ 
Disallow: /drup/modules/ 
Disallow: /drup/profiles/ 
Disallow: /drup/scripts/ 
Disallow: /drup/themes/ 
# Files 
Disallow: /drup/CHANGELOG.txt 
Disallow: /drup/cron.php 
Disallow: /drup/INSTALL.mysql.txt 
Disallow: /drup/INSTALL.pgsql.txt 
Disallow: /drup/install.php 
Disallow: /drup/INSTALL.txt 
Disallow: /drup/LICENSE.txt 
Disallow: /drup/MAINTAINERS.txt 
Disallow: /drup/update.php 
Disallow: /drup/UPGRADE.txt 
Disallow: /drup/xmlrpc.php 
# Paths (clean URLs) 
Disallow: /drup/admin/ 
Disallow: /drup/comment/reply/ 
Disallow: /drup/contact/ 
Disallow: /drup/logout/ 
Disallow: /drup/node/add/ 
Disallow: /drup/search/ 
Disallow: /drup/user/register/ 
Disallow: /drup/user/password/ 
Disallow: /drup/user/login/ 
# Paths (no clean URLs) 
Disallow: /drup/?q=admin/ 
Disallow: /drup/?q=comment/reply/ 
Disallow: /drup/?q=contact/ 
Disallow: /drup/?q=logout/ 
Disallow: /drup/?q=node/add/ 
Disallow: /drup/?q=search/ 
Disallow: /drup/?q=user/password/ 
Disallow: /drup/?q=user/register/ 
Disallow: /drup/?q=user/log 

Answer 1

您只需要一個XML網站地圖，告訴Google所有網頁都在哪裏，而不是讓Google自行抓取它。

事實上，當＃2是β - 他們試圖讓履帶式作業它的魔力。但是，在高度動態的網站上，以這種方式獲得足夠的結果幾乎是不可能的。

因此，與XML網站地圖你告訴谷歌，每個頁面是什麼，它的優先級，以及它的變化。

Answer 2

，您可以禁止被顯示重複的內容的目錄。正如你所解釋的那樣，/ content，/ taxonomy，/ node正在顯示重複的內容。

添加以下代碼在robots.txt文件的目錄部分，以限制搜索引擎訪問這些目錄。

不允許：/ drup /內容/ 禁止：/ drup /分類/ 禁止：/ drup /節點/

Answer 3

有一些照顧SEO和重複內容的多個模塊。 我首先建議安裝和走了過來http://drupal.org/project/seo_checklist 對於重複的內容，您可以檢查http://drupal.org/project/globalredirect

反正/分類和/內容只是列出，而不是不允許你可能需要覆蓋用某種自定義的內容及其路徑讓爬蟲知道他們在看什麼。

Answer 4

Drupal中有很多模塊用於搜索引擎優化。如果你想看到所有SEO模塊的列表。請看看link。

Answer 5

你有驗證與谷歌網站管理員工具網站的所有權的能力：

http://www.google.com/webmasters/tools

如果是的話，我建議你這樣做，然後試圖「Googlebot抓取方式」下的「診斷「類別。如果您的robots.txt按預期工作，則您的「獲取狀態」將指示「由robots.txt拒絕」。你已經改變了的robots.txt後

索引可以掛一段時間，顯示在谷歌搜索結果中。但Googlebot抓取功能可讓您實時瞭解Googlebot入侵時發生的情況......

如果您不希望索引沒有問題被檢索的URL，那麼你就需要把重點放在robots.txt的......那裏的AT，語法的問題，上市的路徑，等我總是建議人們在瀏覽器（在他們的網站的根目錄）手動檢索它，以檢查明顯的混亂。