在Python中使用硬盤而不是RAM

Question

我想知道是否有一種方法或Python包可以讓我使用大型數據集，而無需將其寫入RAM中。

我還使用熊貓統計功能。

我需要對整個數據集的訪問，因爲許多統計功能需要整個數據集返回了可靠的結果。

我使用的PyDev（帶翻譯的Python 3.4）上LiClipse與Windows 10

Answer 1

你可以選擇使用Sframes，Dask對大數據集的支持，或選擇使用熊貓，以儘量減少讀取塊/迭代RAM使用情況。 也值得擁有看看blaze庫

讀入大塊：

chunksize = 10 ** 6 
for chunk in pd.read_csv(filename, chunksize=chunksize): 
process(chunk) 

Answer 2

如果你需要的是磁盤，你可以設置一個交換文件系統上的大容量的RAM內存的虛擬化。然後內核會根據需要自動交換頁面，使用啓發式方法來確定哪些頁面應該交換，哪些應該保留在磁盤上。