Numpy dot產品非常緩慢地使用整數

Question

很抱歉有這麼多問題。我在Intel Core 2 Duo上運行Mac OSX 10.6。我正在爲我的研究運行一些基準，並且遇到了令我感到困惑的另一件事。

如果我運行

python -mtimeit -s 'import numpy as np; a = np.random.randn(1e3,1e3)' 'np.dot(a,a)'

我得到以下輸出：10 loops, best of 3: 142 msec per loop

但是，如果我跑

python -mtimeit -s 'import numpy as np; a = np.random.randint(10,size=1e6).reshape(1e3,1e3)' 'np.dot(a,a)'

我得到以下輸出：10 loops, best of 3: 7.57 sec per loop

然後，我跑到

python -mtimeit -s 'import numpy as np; a = np.random.randn(1e3,1e3)' 'a*a'然後

python -mtimeit -s 'import numpy as np; a = np.random.randint(10,size=1e6).reshape(1e3,1e3)' 'a*a'

兩個跑，每圈約7.6毫秒，所以它不是乘法。添加也有類似的速度，所以這些都不應該影響點積，對吧？ 那麼爲什麼使用ints計算點積要比使用浮點數慢50倍呢？

Answer 1

很有趣，我很好奇，想看看它是如何實現的，所以我做：

>>> import inspect 
>>> import numpy as np 
>>> inspect.getmodule(np.dot) 
<module 'numpy.core._dotblas' from '/Library/Python/2.6/site-packages/numpy-1.6.1-py2.6-macosx-10.6-universal.egg/numpy/core/_dotblas.so'> 
>>> 

所以它看起來像使用BLAS庫其。

這樣：

>>> help(np.core._dotblas) 

從中我發現這一點：

當numpy的與加速BLAS像ATLAS建成，這些功能 被替換，以利用更快的實現。更快的 實現僅影響float32，float64，complex64和complex128 數組。此外，BLAS API僅包括矩陣 - 矩陣，矩陣 - 矢量和矢量 - 矢量產品。具有較大 維度的陣列產品使用內置函數並且不加速。

所以它看起來像ATLAS細調某些功能，但它只適用於某些數據類型，非常有趣。

所以是它看起來我將使用浮動更加頻繁...

Answer 2

使用INT VS浮點數據類型將導致執行不同的代碼路徑：

浮法堆棧跟蹤看起來像這樣：

(gdb) backtr 
#0 0x007865a0 in dgemm_() from /usr/lib/libblas.so.3gf 
#1 0x007559d5 in cblas_dgemm() from /usr/lib/libblas.so.3gf 
#2 0x00744108 in dotblas_matrixproduct (__NPY_UNUSED_TAGGEDdummy=0x0, args=(<numpy.ndarray at remote 0x85d9090>, <numpy.ndarray at remote 0x85d9090>), 
kwargs=0x0) at numpy/core/blasdot/_dotblas.c:798 
#3 0x08088ba1 in PyEval_EvalFrameEx() 
... 

..while對於int堆棧跟蹤看起來像這樣：

(gdb) backtr 
#0 LONG_dot (ip1=0xb700a280 "\t", is1=4, ip2=0xb737dc64 "\a", is2=4000, op=0xb6496fc4 "", n=1000, __NPY_UNUSED_TAGGEDignore=0x85fa960) 
at numpy/core/src/multiarray/arraytypes.c.src:3076 
#1 0x00659d9d in PyArray_MatrixProduct2 (op1=<numpy.ndarray at remote 0x85dd628>, op2=<numpy.ndarray at remote 0x85dd628>, out=0x0) 
at numpy/core/src/multiarray/multiarraymodule.c:847 
#2 0x00742b93 in dotblas_matrixproduct (__NPY_UNUSED_TAGGEDdummy=0x0, args=(<numpy.ndarray at remote 0x85dd628>, <numpy.ndarray at remote 0x85dd628>), 
kwargs=0x0) at numpy/core/blasdot/_dotblas.c:254 
#3 0x08088ba1 in PyEval_EvalFrameEx() 
... 

兩個調用導致dotblas_matrixproduct，但現在看來，浮動通話中的BLAS庫保持（可能訪問某些精心優化的代碼），而int call被踢回numpy的PyArray_MatrixProduct2。

所以這是一個bug或BLAS只是不支持matrixproduct中的整數類型（這似乎不太可能）。

下面是一個簡單和廉價的解決方法：

af = a.astype(float) 
np.dot(af, af).astype(int)