搜索引擎抓取問題

Question

我的網站的主要頁面/home.php 本頁面有錨標籤分頁鏈接到同一頁的許多其他查詢， 例如

• /home.php ？開始= 4
• /home.php?start=8

等等...

我的問題是，當我包括在SI的home.php頁面temap會抓取爬行者以往任何頁面的home.php鏈接（例如。 /home.php?star=4）？或者我必須在網站地圖上包含每個頁面？

Answer 1

抓取工具通常會遵循他們在您的站點地圖中找到的頁面上的所有常規鏈接，但他們可能會以頻率& c這樣做，這可能不適合您的目的 - 完整的站點地圖可爲您提供更多控制權（例如避免浪費帶寬沒有變化的頁面頻繁重新抓取，等等），所以這是更明智的。畢竟，自動生成站點地圖不應該很難。