CSV塊或離線

Question

我要生成來自塊，如DF：

chunksize = 1 
df_list = [] 
for chunk in pd.read_csv(filename, chunksize=chunksize): 
    df_list.append(chunk) 
data_raw = pd.concat(df_list) 

但是計算機的RAM只有3GB，和CSV文件超過3GB如下：

a b c  d  e  f  g  h i j ...  \ 
0 2 2 0 8.17680 4.76726 25.6957 1.13633 0 3 4.8 ...  
1 3 0 0 8.22718 2.35340 15.2934 1.13633 0 3 4.8 ... 

我想通過塊生成一個df文件，以分離數據來訓練X，在某些領域測試y，比如「ae」訓練X，「gh」在那之後測試y。單獨函數的輸入類型是df。 你能否給出一些具體的例子來從大塊或csv離線生成df？

Answer 1

您可以嘗試使用pandas.read_csv（documentation）。您正在尋找的是usecols參數，您可以在其中指定要裝入的列，例如：['a', 'b', 'c', 'd']列車集。

也指定chunksize可能會有所幫助。以下是更多信息：https://pandas-docs.github.io/pandas-docs-travis/io.html#iterating-through-files-chunk-by-chunk