試圖平行嵌套的for循環並保存中間結果

Question

我對並行化完全陌生。我想平行嵌套for循環並存儲一些中間結果。結果來自一個函數f，它取自一些形式參數和一些來自全局變量的值。我從here得到了一些建議，例如我使用itertools來生成相當於嵌套循環的笛卡爾積。但它似乎並不奏效。我想要存儲中間結果的數組保持不變。附上最簡單的工作示例。

操作系統：Windows 7 64位

Python發行：天幕Enthought

import itertools 
import numpy as np 
from multiprocessing import Pool 

list1 = range(4, 8) 
list2 = range(6, 9) 
ary = np.zeros((len(list1), len(list2))) 

#This is the archetypical function f. It DOES NOT have p2 as a parameter! This 
#is intended! In my (more complex) program a function f calls somewhere deep 
#down another function that gets its values from global variables. Rewriting 
#the code to hand down the variables as parameters would turn my code into a mess. 
def f(p1): 
    return p1*p2 

#This is what I want to parallelize: a nested loop, where the result of f is saved 
#in an array element corresponding to the indices of p1 and p2. 
#for p1 in list1: 
# for p2 in list2: 
#  i = list1.index(p1) 
#  j = list2.index(p2) 
#  ary[i,j]=f(p1) 

#Here begins the try to parallelize the nested loop. The function g calls f and 
#does the saving of the results. g takes a tuple x, unpacks it, then calculates 
#f and saves the result in an array. 
def g(x): 
    a, b = x 
    i = list1.index(a) 
    j = list2.index(b) 
    global p2 
    p2 = b 
    ary[i,j] = f(a) 

if __name__ == "__main__": 
    #Produces a cartesian product. This is equivalent to a nested loop. 
    it = itertools.product(list1, list2) 
    pool = Pool(processes=2) 
    result = pool.map(g, it) 
    print ary 
    #Result: ary does not change! 

Answer 1

通過使用Pool，你的程序以某種方式複製過程的次數，他們每個人有自己的全球變量。當您的計算返回時，主進程的全局變量不會改變。 你應該用你的函數的返回值，你在並行調用和合並結果，這意味着，使用可變result從線

result = pool.map(g, it) 

在你的情況下，它僅包含的None列表這麼遠。

並行化的一般提示：始終使用純粹的計算，也就是說，不要像全局變量那樣依賴副作用。

Answer 2

您需要使用某種機制在進程之間共享信息。例如看看multiprocessing.queue。

如果您想使用共享內存，則需要使用線程代替。您可能會發現雖然GIL確實會影響線程性能，但您仍然可以並行運行numpy命令。