如何使用Pandas獲取csv文件的最後一個塊？

Question

假設我有一個包含5行的csv文件。

現在我使用的2

data = pd.read_csv(data_name, header=None, iterator=True, chunksize=2) 

假設我這樣做對這個數據塊的一些魔術和追加到另一個csv文件一CHUNKSIZE遍歷這個文件。

processed_data.to_csv(fname, index=None, mode="a") 

問題：最後一行不寫入。

我不知道如何解決這個問題。有人可以幫忙嗎？

我需要使用塊，因爲我沒有足夠的RAM。

我不能使用chunksize=1，因爲打開/關閉文件太耗時。

Answer 1

如果您的內存不足，我會使用這種類型的數據。 https://blaze.readthedocs.io/en/latest/ooc.html

然後，你不必亂七八糟的大塊。