我想知道是否有一種方法或Python包可以讓我使用大型數據集,而無需將其寫入RAM中。在Python中使用硬盤而不是RAM
我還使用熊貓統計功能。
我需要對整個數據集的訪問,因爲許多統計功能需要整個數據集返回了可靠的結果。
我使用的PyDev(帶翻譯的Python 3.4)上LiClipse與Windows 10
我想知道是否有一種方法或Python包可以讓我使用大型數據集,而無需將其寫入RAM中。在Python中使用硬盤而不是RAM
我還使用熊貓統計功能。
我需要對整個數據集的訪問,因爲許多統計功能需要整個數據集返回了可靠的結果。
我使用的PyDev(帶翻譯的Python 3.4)上LiClipse與Windows 10
如果你需要的是磁盤,你可以設置一個交換文件系統上的大容量的RAM內存的虛擬化。然後內核會根據需要自動交換頁面,使用啓發式方法來確定哪些頁面應該交換,哪些應該保留在磁盤上。
謝謝,你的建議也是有用的,在Windows中有一個簡單的方法來做到這一點?非常感謝你 –
歡迎計算器。首先,你應該讀作[「我可以在這裏左右問什麼題目?」(http://stackoverflow.com/help/on-topic):「問題,要求我們建議還是找一本書,工具,軟件庫,教程或其他非現場資源不在話下「。嘗試在python,pandas等搜索內存映射。 –
歡迎來到計算器。給我們更多關於你到底需要什麼或者接受答案的更多細節。 – SerialDev