我可以告訴網站爬蟲訪問某個頁面嗎？

Question

我有這個圍繞文檔數據庫的drupal網站。通過設計，您只能通過搜索網站來查找這些文檔。但我希望Googlebot和其他抓取工具將所有結果編入索引，所以我想，如果我製作一個列出所有文檔的頁面，然後告訴機器人訪問該頁面以索引我的所有文檔，該怎麼辦？

這是可能的，還是有更好的方法來做到這一點？

Answer 1

也許Sitemap

谷歌推出谷歌網站地圖因此Web開發人員可以從跨他們的網站上發佈的鏈接列表。基本前提是有些網站有大量動態網頁，只有通過使用表單和用戶條目才能使用。然後，可以使用站點地圖文件向網絡爬蟲指示如何找到這些頁面。 Google，Bing，Yahoo和Ask現在共同支持Sitemaps協議。

Answer 2

Create a XML sitemap and submit it to Google。其他搜索引擎也支持這一點。

Answer 3

事實上，你可能會感興趣的drupal sitemap builder plugin這個..

Answer 4

你應該做一個XML網站地圖。還有被稱爲在Drupal它的模塊XML sitemap（它由超過42.000的Drupal站點）：

從模塊：

的XML網站地圖模塊，創建符合Sitemap站點地圖.org規範。這有助於搜索引擎更智能地抓取網站並使其結果保持最新。該模塊創建的站點地圖可以自動提交給Ask，Google，Bing（以前稱爲Windows Live搜索）和Yahoo!搜索引擎。該模塊還附帶了幾個子模塊，可以爲內容，菜單項，分類術語和用戶配置文件添加站點地圖鏈接。