谷歌爬蟲時間限制

Question

沒有人知道它有可能設置的任何財產，以告知Googlebot的，只是來和在特定日期或時間段抓取網站（例如，僅在週末期間）？

感謝，

Answer 1

不要這樣想，但Googlebot便相當頻繁地重新讀取您的robots.txt，所以我不知道它是否會，如果你在一個替代的robots.txt在這些時間交換，例如工作用腳本？

Answer 2

您可以建議Googlebots更喜歡較慢的抓取速度（如果您的網站的抓取速度快於最低速率），但這種情況會在90天后生效（請參閱http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620）。

如由谷歌緩存，所以不允許爬行可能導致不被抓取遠遠長於預期該網站更改的robots.txt可能是有問題的。

谷歌有一個以上的機器人類型，這樣你可以有選擇性在該網站的部分適合他們每個人的抓取，使用robots.txt因爲它的目標。見http://www.google.com/support/webmasters/bin/answer.py?answer=40360。

Answer 3

您可以使用XML sitemap給予有關適當的抓取頻率提示，但它只是一個提示，並要求特定的日子是不可能的。