目前我正在處理一個NumPy memmap數組,其中包含2,000,000 * 33 * 33 * 4(N * W * H * C)數據。我的程序讀取隨機(N)索引來自此陣列。Numpy memmap更好的IO和內存使用
我有8GB的RAM,2TB硬盤。 HDD讀IO只有20M/s左右,RAM使用率保持在2.5GB。看起來有一個HDD瓶頸,因爲我正在檢索明顯不在memmap緩存中的隨機索引。因此,我希望memmap緩存儘可能使用RAM。
有沒有辦法讓我告訴memmap以最大限度地利用IO和RAM?