如何批量追加到一個pickle文件

Question

所以我有這個大的數據集的文件，我創建了一個程序，把它們放在一個泡菜文件，但我只有2GB的RAM，所以我不能在整個文件中數組所以我怎麼能在多個批次的陣列追加「的東西數據在陣列內，追加到泡菜文件，清除陣列，重複」我怎麼能做到這一點，

感謝

Answer 1

其實我也不認爲可以將數據追加到一個pickle文件中，如果是這樣的話，在嘗試讀取pickle文件時會遇到內存問題。

Pickle文件不是爲大數據存儲而設計的，所以可能值得切換到另一種文件格式。

您可以使用基於文本的格式，如csv，json，...或者像hdf5這樣的二進制格式，它專門針對大量的數字數據進行了優化。