API上的python多進程請求

Question

我需要從基於不同ID的API獲取數據。

URL = 「http://123456789/」 ID = 「吉米」

我有ID的列表，這裏是我的代碼

for id in ID: 
    response = requests.get(url+id) 
    info = response.json(encoding = "utf-8") 
    ##save info 

但我有40萬ID，而且需要長期抓所有數據， 所以我想用多進程完成這項工作。 將ID列表剪切成10個或更多的小列表，並在同一時間運行它們。 我該怎麼做？ 請幫忙，謝謝！

Answer 1

您可以使用池。 將ID列表剪切成多個子ID，不同的進程處理不同的ID。 https://docs.python.org/2/library/multiprocessing.html