並行化numpy的矢量運算

Question

讓我們使用，例如，numpy.sin()

下面的代碼將返回正弦的值的陣列a的每個值：

import numpy 
a = numpy.arange(1000000) 
result = numpy.sin(a) 

但是我的機具有32個內核，所以我想利用它們。 （對於像numpy.sin()之類的東西，開銷可能不值得，但是我實際上想要使用的功能相當複雜一些，並且我將使用大量的數據。）

這是最好的（閱讀：最聰明或最快）方法：

from multiprocessing import Pool 
if __name__ == '__main__': 
    pool = Pool() 
    result = pool.map(numpy.sin, a) 

還是有更好的方法來做到這一點？

Answer 1

有是一個更好的辦法：numexpr

略從他們的主頁改寫：

這是一個多線程的虛擬機用C寫的，分析的表達，更有效地改寫他們，並編譯它們飛入代碼，獲得接近最佳並行性能的內存和cpu有界操作。

例如，在我的4核心機器中，評估一個正弦比numpy略快四倍。

In [1]: import numpy as np 
In [2]: import numexpr as ne 
In [3]: a = np.arange(1000000) 
In [4]: timeit ne.evaluate('sin(a)') 
100 loops, best of 3: 15.6 ms per loop  
In [5]: timeit np.sin(a) 
10 loops, best of 3: 54 ms per loop 

文檔，包括支持的函數here。你必須檢查或給我們更多的信息，看看你的更復雜的功能可以通過numexpr來評估。

Answer 2

SciPy的實際上有關於這個問題在這裏一個非常好的書面記錄：http://wiki.scipy.org/ParallelProgramming

Answer 3

嗯，這是一種有趣的注意，如果你運行下面的命令：

import numpy 
from multiprocessing import Pool 
a = numpy.arange(1000000)  
pool = Pool(processes = 5) 
result = pool.map(numpy.sin, a) 

UnpicklingError: NEWOBJ class argument has NULL tp_new 

沒想到的是，有啥繼續，以及：

>>> help(numpy.sin) 
    Help on ufunc object: 

sin = class ufunc(__builtin__.object) 
| Functions that operate element by element on whole arrays. 
| 
| To see the documentation for a specific ufunc, use np.info(). For 
| example, np.info(np.sin). Because ufuncs are written in C 
| (for speed) and linked into Python with NumPy's ufunc facility, 
| Python's help() function finds this page whenever help() is called 
| on a ufunc. 

yep numpy.sin在c中實現，因此您不能直接在多處理中使用它。

，所以我們有另一個函數把它包起來

PERF：

import time 
import numpy 
from multiprocessing import Pool 

def numpy_sin(value): 
    return numpy.sin(value) 

a = numpy.arange(1000000) 
pool = Pool(processes = 5) 

start = time.time() 
result = numpy.sin(a) 
end = time.time() 
print 'Singled threaded %f' % (end - start) 
start = time.time() 
result = pool.map(numpy_sin, a) 
pool.close() 
pool.join() 
end = time.time() 
print 'Multithreaded %f' % (end - start) 


$ python perf.py 
Singled threaded 0.032201 
Multithreaded 10.550432 

哇，沒想到，要麼，我們甚至使用python的功能以及那裏有對於初學者幾個問題如果它只是一個包裝器與一個純c函數，並且也是複製值的開銷，那麼默認情況下多處理器不會共享數據，因爲每個值都需要前後複製。

也指出，如果得到適當的細分我們的數據：

import time 
import numpy 
from multiprocessing import Pool 

def numpy_sin(value): 
    return numpy.sin(value) 

a = [numpy.arange(100000) for _ in xrange(10)] 
pool = Pool(processes = 5) 

start = time.time() 
result = numpy.sin(a) 
end = time.time() 
print 'Singled threaded %f' % (end - start) 
start = time.time() 
result = pool.map(numpy_sin, a) 
pool.close() 
pool.join() 
end = time.time() 
print 'Multithreaded %f' % (end - start) 

$ python perf.py 
Singled threaded 0.150192 
Multithreaded 0.055083 

那麼，我們能從這個取，多是偉大的，但我們應該始終測試，有時比較一下它的速度更快，有時它更慢，取決於如何其使用...

授予您沒有使用numpy.sin但另一個函數我建議您首先驗證確實多處理會加快計算速度，也許前後複製值的開銷可能會影響到您。

無論哪種方式，我還認爲，使用pool.map是多線程代碼是最好的，最安全的方法...

我希望這有助於。