Google何時重新抓取網站？ 爲什麼Google在Cache中擁有同一頁面的兩個版本？Google何時重新抓取網站？
http://forum.portal.edu.ro/index.php?showtopic=112733 高速緩存頁是：forum.portal.edu.ro/index.php?showtopic=112733 & ST = 25/ forum.portal.edu.ro/index.php?showtopic=112733 & ST = 50
關於Google的抓取政策有很多討論。您可以做的最好的檢查您的日誌，並確定他們的日程安排爲您的網站。
至於緩存中的多個條目，Google無法知道它們不是相同的頁面;他們有不同的網址和可能不同的數據。如果您想要使用特定頁面，請嘗試使用<link rel="canonical" href="(standard URL)">。
可以增加在它爬行的速度，通過調整：
站點配置>設置>設置自定義抓取速度
多久頁面被重新抓取取決於它有多高的排名是，以及您在網站地圖中建議的更新時間間隔。還可能考慮其他一些因素，例如頁面的內容以及鏈接到該網站的哪種類型的網站。
高速緩存中的兩個頁面並不完全相同，其中一頁是第二頁，另一頁是第三頁。由於它們具有不同的URL和不同的內容，因此它們是單獨的頁面。
如果您確實希望網頁被搜索引擎統計爲相同，您可以使用link標記與rel="canonical"指向該線索的第一頁。
這取決於網站上的內容類型，也可能取決於其PageRank。提供很少更新信息的靜態頁面可能每隔一個月左右訪問一次，每天有很多帖子的流行博客可能每天都會被抓取幾次。 （雖然在博客的情況下，博客軟件通常會ping通搜索引擎，並且按需爬取）
看起來這些是中等流量的網站上的論壇帖子，所以它應該被抓取每週幾次。即使我自己的網站目前Alexa上的排名不到800萬，每週也會每隔一週使用robots.txt請求抓取。
具有類似內容的頁面應該自動分組到一起，但如果不是，請嘗試其他答覆者提供的rel =「canonical」提示。
@Chris：不，該設置不會改變您的網站被抓取的頻率，只有Google在抓取過程中請求頁面的速度。這是一個誤導性的設置，許多人犯了這個錯誤，即使幫助頁面清楚地表明瞭這一點。
@Chris：Site Configuration> Settings> Set Custom Crawl Rate。此設置僅確定您的網站可以抓取的速度有多快，但不會設置抓取頻率。爲了讓您的網站獲得更多的抓取，請嘗試將您網站的某些鏈接發佈到其他網站。
歡迎來到堆棧溢出:)請注意，沒有必要在您的答案中包含您的網站地址，因爲任何有興趣的人都可以在[個人資料頁面]上找到它（http://stackoverflow.com/users/715754/vaibhav）。 – sarnold 2011-04-20 00:21:10
不是編程問題？ – Anax 2009-10-23 22:42:47