numpy可以處理多少數據

Question

我現在正在嘗試使用PyTables和NumPy.Can請告訴我有多少數據可以numpy處理。我現在正在處理1.4億行數據，並且想知道numpy可以處理它。如果它至少能夠處理1.4列的2列（我現在使用具有8 GB RAM的64位窗口），那將會很好。如果numpy不能處理統計和機器學習算法的可能替代方案實現。

Answer 1

140M比2 ** 31小得多，所以如果內存充足，它甚至可以放入32位的Python/Numpy。你可以很容易地嘗試了這一點與

>>> import numpy as np 
>>> X = np.empty((140e6, 2)) 

存儲器使用與標準dtype=np.float64是8個字節的順序×140M×2 = 2GB上。如果您使用dtype=np.float32，則可以節省2倍。