Python Pandas to_csv是否有最大行數？

我正在嘗試將文本文件導出到csv中。該文件非常大（160萬行）製表符分隔文件。當我使用to_csv導出文件時，它僅導出1048576行。有多少行to_csv會導出？Python Pandas to_csv是否有最大行數？

，我應該以不同的方式導出數據？我真的很想能夠把它變成一個csv。

這裏是我的代碼的例子。

import pandas as pd 
import numpy as np 
import os 

from pandas import Series, DataFrame 

pathDataEDM = "C:/Users/FILE.txt" 

dataEDM = pd.read_csv(pathDataEDM, sep="\t") 

dataEDM.to_csv(os.path.join(ExportDir),index=False)

來源

2017-04-24 brandog

您是否驗證過數據是_read_正確？例如。 'dataEDM.info（）'報告正確的行數？ – alexis

像alexis一樣，我會檢查導出停止位置附近的格式/解析錯誤。例如，如果您開始將48576行導出到文本文件中，您會獲得1048576個導出的行，還是1000000？ – cphlewis

我不認爲有一個最大值（因爲它沒有記錄，最多160萬是相當低的）。

你可以試着指定以下可選參數（見docs）：

CHUNKSIZE：int或無 行同時

壓縮寫：串，可選 表示壓縮在輸出文件中使用的字符串，允許值爲‘gzip’, ‘bz2’, ‘xz’，僅在第一個參數爲文件名時使用

來源

2017-04-24 23:05:06 matusko

Python Pandas to_csv是否有最大行數？

回答

相關問題