感謝您閱讀我的問題。我正在建立一個網站,將列出每個製造商的產品。我計劃結構中的網址如下變化:允許搜索引擎抓取網站的最佳方式
www.mysite.com/manufacturer_name/product_name/product_id
www.mysite.com/product_name/product_id
www.mysite.com/製造商名稱
有數百萬種產品,我希望所有主要搜索引擎都能抓取它們。什麼是最好的方式去做呢?
只需提交網站到所有的搜索引擎就夠了嗎?我會假設,如果我提交製造商頁面列出所有制造商的名稱作爲鏈接搜索引擎將點擊每個鏈接,並點擊每個製造商鏈接中顯示的所有產品(我將有產品分頁),所以搜索引擎可以請繼續抓取網站,以獲取每個製造商內的更多產品,直到其用完頁碼。
這足以列出每個搜索引擎上的每個產品嗎?還是有新的更好的方法來做到這一點?可能會有新的搜索引擎優化技巧,我不知道。我希望你能指出我正確的方向。
我以前使用robot.txt來告訴搜索引擎要爬取哪些頁面,並且似乎可以正常工作。
感謝, bad_at_coding
谷歌這個話題:* sitemap.xml的* – Madbreaks
難道我列出的sitemap.xml所有農資?或者只是一個URL或兩個URL引導他們到製造商頁面? –