我正在創建一個網站,將有一個維基文章數據庫。目前,除了使用在線搜索引擎之外,沒有任何關於wiki文章的鏈接。如何將wiki數據庫導入搜索引擎?
我怎樣才能讓文章被Google和其他互聯網搜索引擎掃描?數據庫中有太多文章直接包含所有鏈接,除非它是某種類型的自動站點地圖。
在很多維基上我看到一個隨機頁面按鈕的視圖;我從來沒有見過那些自己作爲用戶的角度,是那裏幫助搜索引擎的機器人嗎?
我正在創建一個網站,將有一個維基文章數據庫。目前,除了使用在線搜索引擎之外,沒有任何關於wiki文章的鏈接。如何將wiki數據庫導入搜索引擎?
我怎樣才能讓文章被Google和其他互聯網搜索引擎掃描?數據庫中有太多文章直接包含所有鏈接,除非它是某種類型的自動站點地圖。
在很多維基上我看到一個隨機頁面按鈕的視圖;我從來沒有見過那些自己作爲用戶的角度,是那裏幫助搜索引擎的機器人嗎?
您可以編寫一個PHP或ASP腳本來生成sitemap,並將請求重定向到/sitemap.xml到該腳本。
然後,您可以使用其Webmaster Tools將網站地圖提交給Google。
Sitemap協議允許網站管理員通知搜索引擎有關網站上可供檢索的網址。
提交一個Sitemap到谷歌。使用Google網站管理員工具添加您的網站並自動生成壓縮的sitemap.xml。這會告訴Google您網站上的所有網址,以便抓取它們。您還可以監控Google抓取您的網站的頻率以及是否遇到任何錯誤。
編輯:如果您擔心Sitemap過大,您可以使用指向主索引頁面的單個URL生成站點地圖。該索引頁面可以每天生成一次或一個需求,並且可以按照您的喜好分割。它只是作爲Google抓取的來源。例如,它可以呈現字符A,B,C,D,E,...,Z的列表,它們是包含以該字符開始的所有頁面的列表的頁面的鏈接。這並不重要,但是您想要這樣做來優化數據庫資源。
他們的關鍵是讓sitemap.xml進入Google的系統,以便他們知道何時以及如何頻繁地抓取您。生成站點地圖有各種各樣的錯綜複雜。上面的方法只有一個URL,但它可以工作。理想情況下,您可以根據優先級對系統中的每個網址生成一個網站地圖,但這並不需要。
查看站點地圖規範瞭解更多信息。如果您只想爲Google播種,請使用1網址方式繼續。
大多數網站是如何做到的?在我看來,可能真的打擊我的數據庫。我可能會在數據庫中有大約200萬篇文章,並且動態生成新的站點地圖似乎非常痛苦。或比每天更頻繁的事情。 – 2010-06-22 21:33:03
如果您想要簡化數據庫訪問,您可以緩存站點地圖,並且每週只更新一次。基本上當有人請求站點地圖時,檢查它的最後修改日期是否已超過一週,並且是否重新生成它。否則提供緩存版本。使用現代數據庫系統可以輕鬆處理200萬篇文章。 – robinjam 2010-06-22 21:58:16