使用Python多處理池的功能

Question

我有一個函數

def dist_to_center(ra_center,dec_center): 
    # finding theta 
    cos_ra = np.cos(ra_center-var1['ra']) 
    cos_dec = np.cos(dec_center-var1['dec']) 
    sin_dec = np.sin(dec_center)*np.sin(var1['dec']) 

    theta = np.arccos((cos_ra*cos_dec)+sin_dec*(1-cos_ra)) 
    numerator = theta*comoving_dist 
    denominator = 1+var1['zcosmo'] 

    # THE FINAL CALCULATED DISTANCE TO CENTRE 
    dist_to_center = (numerator/denominator) 
    return dist_to_center 

我想利用我的處理器，所以我用multiprocess pool這樣的：

if __name__ == '__main__': 
    pool = Pool(processes=6) 
    pool.map(dist_to_center, ra_center, dec_center) #calling the function with it's inputs 
    pool.close() 
    pool.join() 

的代碼似乎是正確和正在工作，但只有一個處理器正在運行，而不是已調用的6個處理器。我在這裏做錯了什麼？

Answer 1

您正在向池中傳遞一對一維數組。您需要自己切分數組，以使Pool瞭解如何有效地處理它們。例如：

def dist_to_center_mapper(arrays): 
    return dist_to_center(arrays[0], arrays[1]) 

ra = np.split(ra_center, 6) 
dec = np.split(dec_center, 6) 
pool = Pool(processes=6) 
pool.map(dist_to_center_mapper, zip(ra, dec)) 

我覺得是需要的「映射」功能，因爲Pool.map()只需論據單一迭代。因此，我們將兩個數組切片列表一起壓縮，以便將它們一起分配到多個進程。請注意，如果您需要的話，您可以將數組拆分爲更多的部分，如果某些部分可能需要不同的時間量等。