結合dataframes蟒蛇多進程調用函數

Question

from multiprocessing import Pool 

with Pool(processes=6) as p: 
    p.starmap(update_tabl, zip(r)) 

回來，我在這裏使用的方法概述：http://n-s-f.github.io/2016/12/23/starmap-pattern.html並行化功能update_table返回一個數據幀作爲輸出的呼叫。

如何連接所有這些數據框？如果我用一個for循環，但我可以用pd.concat不知道該怎麼做並行

Answer 1

你可以做CONCAT上的星圖的結果：

with Pool(processes=6) as p: 
    res = pd.concat(p.starmap(update_table, zip(rows))) 
# do stuff with res 

的CONCAT不會發生並行，但一旦星圖完成。