帶有塊大小的熊貓read_csv正在跳過數據

Question

我正在處理具有19090680行的數據集。這是超過1900萬。如果我將塊大小設置爲10 ** 6，我的代碼將運行兩次。這是200萬行在終止之前處理的。如果我將chunksize設置爲1000，則在退出for-loop之前，我會處理19087680行。這仍然留下了3000行未處理。任何想法爲什麼？

這是我的代碼。

cs = 1000 
reader = pd.read_csv(file, delimiter='|', header=None, iterator=True, chunksize=cs) 
chunkCount = 0 
for chunk in reader: 
    processedSeries = chunk.apply(process, axis=1) 
    processedSeries.to_csv("processed_data.csv", index=False, sep='|', header=None, mode='a') 

編輯：我有熊貓0.17.1-np110py35_0 我在更新，看看這是否會解決這個問題的過程。

Answer 1

升級到熊貓0.18.0解決了這個問題。