爲什麼X.dot（X.T）在numpy中需要這麼多內存？

Question

X是一個n×p矩陣，其中p比n大得多。比方說，N = 1000，P = 500000當我運行：

X = np.random.randn(1000,500000) 
S = X.dot(X.T) 

執行此操作結束了拍攝的內存很大，儘管尺寸的結果是1000×1000的內存使用落回原位，一旦操作完成。有沒有辦法解決？

Answer 1

的問題不在於X和X.T是示相同的內存空間的本身， 而是X.T是F-連續而不是C連續的。當然，在 的情況下，您必須對至少一個輸入數組使用 ，在這種情況下，您將數組與其轉置的視圖相乘。

在numpy的< 1.8，np.dot將 創建任何 F-有序輸入陣列，而不只是那些碰巧意見到的 相同內存塊的C-有序的副本。

例如：

X = np.random.randn(1000,50000) 
Y = np.random.randn(50000, 100) 

# X and Y are both C-order, no copy 
%memit np.dot(X, Y) 
# maximum of 1: 485.554688 MB per loop 

# make X Fortran order and Y C-order, now the larger array (X) gets 
# copied 
X = np.asfortranarray(X) 
%memit np.dot(X, Y) 
# maximum of 1: 867.070312 MB per loop 

# make X C-order and Y Fortran order, now the smaller array (Y) gets 
# copied 
X = np.ascontiguousarray(X) 
Y = np.asfortranarray(Y) 
%memit np.dot(X, Y) 
# maximum of 1: 523.792969 MB per loop 

# make both of them F-ordered, both get copied! 
X = np.asfortranarray(X) 
%memit np.dot(X, Y) 
# maximum of 1: 905.093750 MB per loop 

如果複製是一個問題（例如，當X是非常大的），你能做些什麼呢？

最好的選擇可能是升級到更新版本的numpy--就像@perimosocordiae指出的那樣，這個性能問題在this pull request中解決。

如果因任何原因，你無法升級numpy的，還有一招，可以讓你直接通過scipy.linalg.blas調用相關功能BLAS（從this answer無恥被盜後不強制副本進行快速，基於BLAS點產品）：

from scipy.linalg import blas 
X = np.random.randn(1000,50000) 

%memit res1 = np.dot(X, X.T) 
# maximum of 1: 845.367188 MB per loop 

%memit res2 = blas.dgemm(alpha=1., a=X.T, b=X.T, trans_a=True) 
# maximum of 1: 471.656250 MB per loop 

print np.all(res1 == res2) 
# True