numpy-memmap

1熱度

1回答

我對大小爲400x156300的數據集使用oja規則。它似乎崩潰我的RAM。我不確定是什麼導致了這一點。請幫忙。我有12 GB的RAM。嘗試使用memmap但仍然崩潰！ #convert memmap and reduce precision [num_sample,num_feat]=train_data.shape filename = path.join(mkdtemp(), 'tr

0熱度

1回答

numpy memmap修改文件

我在理解numpy.memmap的工作方式時遇到問題。背景是我需要通過刪除條目來減少保存在光盤上的大型numpy陣列。讀數組並通過複製所需的部分來建立一個新的部分不起作用 - 它只是不適合內存。所以想法是使用numpy.memmap - 即在光盤上工作。她是我的代碼（具有很小的文件）： import numpy in_file = './in.npy' in_len = 10 out_fi

0熱度

1回答

將npy文件追加到兩個文件中具有相同列數的另一個npy文件

npy文件大小約爲5 GB，RAM大約爲5 GB，因此無法加載numpy陣列。如何加載一個npy文件並將其行添加到其他npy文件而不加載它

4熱度

1回答

xarray或dask是否真的支持內存映射？

在我的實驗，到目前爲止，我已經試過： xr.open_dataset與chunks阿根廷，和它的數據加載到內存中。設置一個NetCDF4DataStore，並調用ds['field'].values並將數據加載到內存中。設置ScipyDataStore與mmap='r',ds['field'].values將數據加載到內存中。從我所看到的，設計似乎沒有圍繞在內存映射數組上實際應用numpy函

-1熱度

1回答

C mmap和numpy memmap之間的差異

我有一個包含32位浮點數N的大文件。此文件是使用numpys MEMMAP功能如下創建： mmoutput = np.memmap("filename", dtype='f4', mode='w+', offset=0, shape=N) mmoutput[:] = my_floats mmoutput.flush() 當我使用numpy的加載這些係數回來，並使用它們求和： mminput

3熱度

1回答

內存錯誤在DASK陣列

使用FLOAT32當我試圖使用dask.array 文件導入1.25 GB數據集成蟒是uint16是一個1312 * 2500 * 196陣列。我需要將其轉換爲float32數組以備後續處理。我設法然而縫合在一起這DASK數組中uint16，當我嘗試轉換爲float32我得到內存錯誤。無論我對塊大小做什麼，我都會遇到內存錯誤。我通過連接在100線（打破了2500維陣列成的100行小件創建陣列

1熱度

1回答

numpy memmap內存使用情況 - 想迭代一次

讓我說我有一些大的矩陣保存在磁盤上。存儲所有在內存中是不是真的可行，所以我用MEMMAP訪問它 A = np.memmap(filename, dtype='float32', mode='r', shape=(3000000,162)) 現在讓我們說，我想遍歷這個矩陣（基本上不是以有序的方式），使得每行會正好一次訪問。 p = some_permutation_of_0_to_2999999