每個域的urlfetch限制速度

Question

有沒有辦法限制urlfetch對每個時間單元對任何單個服務器的請求數？

我意外地拒絕了我正在爬行的網站，因爲異步urlfetch api使它分支直到它死亡（每個請求平均產生一個以上的新請求）。日誌包含〜200 DeadlineExceeded，每個之間有一毫秒。

Answer 1

您可以使用time.sleep()方法。暫停當前​​線程的執行達到給定的秒數。

import time 
[...] 
for u in urls: 
    urllib2.urlopen(u, timeout=4) 
    time.sleep(1) 

https://docs.python.org/2/library/time.html#time.sleep