Python的多處理和共享numpy的陣列

Question

我有一個問題，這是與此類似：

import numpy as np 

C = np.zeros((100,10)) 

for i in range(10): 
    C_sub = get_sub_matrix_C(i, other_args) # shape 10x10 
    C[i*10:(i+1)*10,:10] = C_sub 

因此，顯然沒有必要，運行此作爲串行計算，因爲每個子矩陣可以被獨立計算。 我想使用多處理模塊併爲for循環創建最多4個進程。 我閱讀了一些關於多處理的教程，但無法弄清楚如何使用它來解決我的問題。

感謝您的幫助

Answer 1

一個簡單的方法來並行化代碼將使用的過程Pool：

pool = multiprocessing.Pool() 
results = pool.starmap(get_sub_matrix_C, ((i, other_args) for i in range(10))) 

for i, res in enumerate(results): 
    C[i*10:(i+1)*10,:10] = res 

我用starmap因爲get_sub_matrix_C函數有多個參數（starmap(f, [(x1, ..., xN)])電話f(x1, ..., xN)）。

但請注意，序列化/反序列化可能需要大量時間和空間，因此您可能必須使用更低級別的解決方案來避免這種開銷。

---

它看起來像你正在運行一個過時的版本的蟒蛇。你可以用普通map取代starmap但你必須提供一個函數，它接受一個參數：

def f(args): 
    return get_sub_matrix_C(*args) 

pool = multiprocessing.Pool() 
results = pool.map(f, ((i, other_args) for i in range(10))) 

for i, res in enumerate(results): 
    C[i*10:(i+1)*10,:10] = res 

Answer 2

下面的配方也許可以完成這項工作。隨意問。

import numpy as np 
import multiprocessing 

def processParallel(): 

    def own_process(i, other_args, out_queue): 
     C_sub = get_sub_matrix_C(i, other_args) 
     out_queue.put(C_sub)    

    sub_matrices_list = [] 
    out_queue = multiprocessing.Queue() 
    other_args = 0 
    for i in range(10): 
     p = multiprocessing.Process(
          target=own_process, 
          args=(i, other_args, out_queue)) 
     procs.append(p) 
     p.start() 

    for i in range(10): 
     sub_matrices_list.extend(out_queue.get()) 

    for p in procs: 
     p.join() 

    return sub_matrices_list  

C = np.zeros((100,10)) 

result = processParallel() 

for i in range(10): 
    C[i*10:(i+1)*10,:10] = result[i]