Google抓取XML文件

我需要xml文件來索引我的網站以進行谷歌抓取。我正在使用一些軟件來製作XML文件。我的問題是我需要列出所有動態頁面。我的意思是這樣的：Google抓取XML文件

如果是，這是爲什麼？什麼是要happend如果我不會有他們，只是說：

如果我包括所有的ID，結果將是一個巨大的XML文件。谷歌接受這樣一個大文件，或者他們有限制嗎？

在此先感謝您的幫助和時間。

2011-01-24 Jay

谷歌是不會指數所有動態網頁反正。即使將它們放在sitemap.xml中，它也會將其中的大部分扔出去。內容將太相似。

sitemap.xml中的條目數量有限制它曾經是〜50k pages/10MB。根據我的經驗，如果Google看起來過於相似且沒有入站鏈接，Google會抓取幾千個並停止。

2011-01-24 22:56:59

根本不需要XML站點地圖。它只是讓谷歌更容易抓取您的內容。而且顯然你不必把動態的東西放在裏面。

2011-01-24 22:45:42 ThiefMaster

你的意思是如果我爲我的網站製作XML站點地圖，我會讓Google抓取更難？ – Jay 2011-01-24 22:47:12

如果這是一個真正的問題，請嘗試閱讀rel="canonical"，這是爲了從Google中排除這些類型的網頁。雖然它的有用性基於用例，但您可能會發現它是適合您的解決方案。

2011-01-24 22:50:54 fiiv

回答