搜索引擎優化：允許爬蟲索引所有網頁，當一次只有幾個可見

Question

我正在改善網站的搜索引擎優化的目的，並打出一個有趣的問題。該網站，其中包括一個大型的個人項目目錄（這些都不重要）。每個項目都有自己的詳細信息頁面，這是通過

http://www.mysite.com/item.php?id=item_id 

或

http://www.mysite.com/item.php/id/title 

的目錄是大訪問 - 其中具有約100,000項。當然，在任何頁面上只列出幾個項目。例如，在主網站主頁上，有鏈接到大約5或6個項目，從其他頁面鏈接到大約12個不同的項目等。

當真實用戶訪問該網站時，他們可以使用搜索表單通過關鍵字或位置查找項目 - 因此會生成一個與其搜索條件匹配的列表。但是，例如，當谷歌搜索器訪問該網站時，甚至不會嘗試將文本放入關鍵字搜索字段並提交表單。因此，就bot而言，在對整個站點進行索引之後，它至多隻覆蓋了幾十個項目。當然，我希望它能夠分別索引每個單獨的項目。我在這裏有什麼選擇？

我考慮的一件事是檢查用戶代理和IP範圍，如果請求者是一個bot（最好我可以說），然後在最相關的頁面的末尾添加一個div，並鏈接到每個單獨的項目。是的，這將是一個巨大的頁面加載 - 我不確定谷歌機器人會如何反應。

我能做的其他事情嗎？這裏有什麼最佳實踐？

在此先感謝。

Answer 1

我考慮的一件事是檢查用戶代理和IP範圍，如果 請求者是一個bot（最好我可以說），然後在最相關的頁面的末尾 中添加一個div，並鏈接到每個單獨的項目。是的， 這將是一個巨大的頁面加載 - 我不知道如何谷歌機器人 會對此作出反應。

這將是一個非常壞事要做。向搜索引擎提供不同的內容專門爲他們的好處被稱爲cloaking，並且是讓您的網站被禁止的好方法。甚至不要考慮它。

每當網站管理員關心如何讓他們的網頁索引爲XML網站地圖是確保搜索引擎知道您網站內容的簡單方法。如果你的網站是數據庫驅動的，它們也很容易創建和更新。 XML文件不必是靜態的，所以只要搜索引擎請求它（Google，Yahoo和Bing都支持XML站點地圖），就可以動態生成它。您可以在sitemaps.org找到關於XML站點地圖的mroe。

如果你想讓你的內容可用於搜索引擎，並希望從語義標記（即HTML）中受益，你還應該確保你的所有內容都可以通過超鏈接（換句話說不是通過表單提交或JavaScript ）。這樣做的原因是雙重的：

1. 在鏈接到你的項目的錨文本將包含要爲好的排名的關鍵字。這是權重更高的排名因素之一。
2. 鏈接算作「投票」，特別是對Google。來自外部網站的鏈接，尤其是相關網站的鏈接，是您聽到人們推薦的最有用的原因。他們很有價值。但內部鏈接也會帶來重量，並且可以成爲支撐內部項目頁面的絕佳方式。
3. （Bonus）Google的PageRank曾經是他們排名算法的重要組成部分，但現在只扮演一小部分角色。但它仍然具有價值，並且鏈接將PageRank「傳遞」到他們鏈接的每個頁面以增加該頁面的PageRank。當你有多少頁面時，就會有很多潛在的PageRank可以傳遞。如果你的網站建立得很好，你可以通過內部鏈接將你的主頁設置爲6的PageRank。

讓HTML網站地圖以某種方式鏈接到您的所有產品是確保搜索引擎和用戶可以輕鬆找到您所有產品的絕佳方式。還建議您構建您的網站，以便更重要的網頁更貼近您網站的根（主頁），然後在分支機構獲取到子頁面（分類），然後轉到特定項目。這讓搜索引擎瞭解哪些頁面很重要，並幫助他們組織它們（幫助它們對它們進行排名）。它還可以幫助他們從上到下遵循這些鏈接並查找所有內容。

每個項目都有自己的詳細信息頁面，這是通過

http://www.mysite.com/item.php?id=item_id

或

http://www.mysite.com/item.php/id/title

這也是壞的搜索引擎優化訪問。當您可以使用兩個不同的網址拉同一網頁時，您的網站上會有重複的內容。谷歌正在努力提高其索引的質量，並認爲重複的內容質量不高。他們臭名昭着的熊貓算法部分地用於查找和處罰質量較差的網站。考慮到你有多少產品，在你受到懲罰之前只是一個時間問題。幸運的是，解決方案很簡單。你只需要specify a canonical URL爲您的產品頁面。我推薦第二種格式，因爲它對搜索引擎更友好。

閱讀my answer to an SEO question at the Pro Webmaster's site瞭解關於SEO的更多信息。

Answer 2

我會建議初學者有一個XML網站地圖。生成所有網頁的列表，並通過網站站長工具將其提交給Google。這並不會傷害到有一個「友好」的網站地圖 - 鏈接到首頁，其中列出所有這些網頁，最好是按類別。

如果您關注SEO，那麼鏈接到您的網頁非常重要。谷歌可以看到你的網頁，並認爲「哇，真棒！」並賦予你許多權威 - 這個權威（有人稱之爲鏈接果汁）然後傳遞給與之鏈接的頁面，你應該創建一個文件層次結構，更重要的文件層次更接近頂層和/或。使得它代替廣深

此外，流露出來的谷歌爬蟲比「正常」的遊客不同的東西可以在某些情況下是有害的，如果谷歌認爲你想欺騙它

對不起 - - 這裏有一點偏向谷歌 - 但其他引擎類似。