在站點地圖中，建議在網站上包含每個頁面的鏈接，還是隻包含需要鏈接的鏈接？

Question

我正在爲我的網站創建站點地圖。我這樣做是因爲我有大量的頁面，只能通過搜索表單通常由用戶訪問。

我已經創建了一個自動方法，用於將鏈接拉出數據庫並將其編譯爲站點地圖。但是，對於所有可以經常訪問並且不在數據庫中的頁面，我必須手動完成並將其添加到站點地圖中。

這讓我覺得普通頁面是普通抓取工具發現的頁面，所以看起來像是在這些頁面中手動添加的麻煩，然後確保站點地圖不斷更新對它們的更改。

將它們排除，如果它們已被索引，並且我的站點地圖只包含我的動態頁面，這會不會很糟糕？

Answer 1

Google會抓取它發現的任何網址（即robots.txt允許的網址），即使它們不在網站地圖中。只要您的靜態頁面都可以從站點地圖中的其他頁面訪問，排除它們就可以了。但是，站點地圖XML還有其他一些功能可以激勵您在站點地圖中包含靜態URL（例如修改日期和優先級）。

如果您願意編寫一個腳本來自動爲數據庫條目生成站點地圖，那麼請進一步，讓您的腳本也爲靜態頁面生成條目。這可以像搜索webroot並查找* .html文件一樣簡單。或者，如果您使用的是框架，請遍歷您的框架的靜態路由。

Answer 2

是的，我認爲將它們排除在外並不是一件好事。我認爲最好還是尋找一種方式，讓您的搜索頁面可以被沒有網站地圖的抓取工具找到。例如，您可以添加某種高級搜索頁面，用戶可以在搜索項的表單中選擇。爬行者也可以填寫這些表單。