爲什麼谷歌停止爬行後限制

Question

我已經提交了1-2個月的網站地圖。 Google開始快速爬行幾天，併爲大約25％的頁面編制索引，然後突然停止並且不再爬行。

我爲新抓取的網頁創建了Google提醒。我每天都會收到有關某些網頁已被抓取的提醒（僅限新網頁）。

robots.txt的有設置，讓所有

下面是截圖，你可以在開始曲線看到的是陡峭的，但隨後變得停滯不前。

Answer 1

官方回答這個問題可以在這裏找到：https://support.google.com/webmasters/answer/34441

我個人也遇到過一次，它可以追溯到（有時）慢網絡服務器的響應時間，之後谷歌決定不想讓我的網站變得更慢，因此只能抓取新的數據。

此外，Google可能會抓取所有內容，但是您會將其他75％的網頁視爲重複內容，並且從現在開始忽略它們（您應該能夠在您的網站站長工具中看到此內容）=>您是否可以檢查訪問日誌看看Google是否可以抓取更多頁面？