執行慢速功能的最佳方法是什麼？

Question

我有一個需要大約1分鐘執行的python函數。我需要爲我的數據庫中的每個用戶運行它。什麼是最短時間執行的最佳方式？ （假設我不能減少執行時間）。我應該爲每個用戶分配多個線程嗎？ （我無法控制用戶數量）。

Answer 1

假設你的慢作用是緩慢的，因爲它是CPU密集型的，產卵爲每個用戶一個線程可能是一個危險的，如果你有一個大的數據庫，你將可能有數千個線程爭奪資源的。您可以使用multiprocessing.Pool有工人池：

from multiprocessing import Pool 

def f(user): 
    # do something 

users = ['Alice', 'Bob', 'Carol', 'Dave'] 
pool = Pool(processes=10) 
results = pool.map(f, users) 

即使users原來是一千名的列表，你將永遠有一個最大的10個進程同時運行。您應根據您的機器具有的核心數設置進程數。