gevent和socksipy

Question

我想知道是否有人嘗試使用[gevent] [1]和[socksipy] [2]進行併發下載。

Answer 1

我已經使用gevent從yfrog，instagram，twitpic等下載〜12k圖片。 圖片的累積大小約爲1.5Gb，花費大約20分鐘的時間將它們全部下載到我家的wifi上。

爲此，我實現了一個image_download函數，其唯一目的是從給定URL下載圖片，然後使用gevent.Pool異步映射image_download函數上的URL列表。

from gevent import monkey 
monkey.patch_socket() # See http://www.gevent.org/gevent.monkey.html 
import gevent 

NB_WORKERS = 50 

def image_download(url): 
    # retrieve image 

def parallel_image_download(urls): # urls is of type list 
    """ Activate NB_WORKERS Greenlets to asynchronously download the images. """ 
    pool = gevent.Pool(NB_WORKERS) 
    return pool.map(image_download, urls) 

注：經過幾次嘗試，我找到了50名並行工人。通過50，總運行時間沒有增加。