將多個字典返回給父處理多處理

Question

我正在做一個CPU昂貴的計算，可以很容易地分成許多工人。但是，我必須在最後加入結果。的問題是，不能使用使用多個分離的過程時發送從子到父計算機輸出的唯一方法是使用multiprocessing.Queue，multiprocessing.Manager或multiprocessing.Pool共享內存和。所有這些方法醃製物體並使用某種IPC發送它。

我計時操作的所有不同部分，和處理數據與處理方式更快，但是得到的對象是太慢了，它總是更快，如果我不使用多。

有沒有辦法實現共享內存使用我們當multithreading library得到相同級別的？我希望能夠做一些事情，如：，我建議使用該蘿模塊

process = [None]*numProcess 
#List where the processes should write in memory the output. 
results = [None]*numProcess 
m = float(len(nflow))/numProcess 
nflow_for_process = [nflow[int(m*i):int(m*(i+1))] for i in range(numProcess)] 


for i in xrange(numProcess): 
    p = Process(target=self.gatherFlowsProcess, args=(nflow_for_process[i])) 
    p.daemon = True 
    processes.append(p) 
    p.start() 

#here I join all the results again. 
results_tmp = results[0] 
for d in results[1:]: 
    for tuple in d: 
     if results_tmp.has_key(tuple): 
      results_tmp[tuple].update(d[tuple]) 
     else: 
      results_tmp[tuple] = d[tuple] 


return results_tmp 

Answer 1

你可以嘗試泡菜字典你的自我（但也有其他模塊，您可以使用太多），所以它看起來會是像這樣：

import dill as pickle 
dic = {...} 
f = open('save.pkl', 'wb') 
g = pickle.dump(dic, f) 
f.close() 

比你可以用它來得到解釋：

f = open('save.pkl', 'rb') 
c = pickle.load(f) # c is now equal to dic 
f.close()