讀取csv文件的一部分

Question

我有一個非常大的csv文件大約10GB。當我試圖讀入iPython筆記本使用

data = pd.read_csv("data.csv") 

我的筆記本電腦卡住了。是否有可能只讀取10,000行或500 MB的csv文件。

Answer 1

這是可能的。您可以創建一個迭代器，通過將iterator=True與您所需的chunksize一起傳遞到read_csv，一次將某個特定大小的csv數據塊作爲DataFrame生成。

df_iter = pd.read_csv('data.csv', chunksize=10000, iterator=True) 

for iter_num, chunk in enumerate(df_iter, 1): 
    print(f'Processing iteration {iter_num}') 
    # do things with chunk 

或者更簡單地

for chunk in pd.read_csv('data.csv', chunksize=10000): 
    # do things with chunk 

另外，如果有，只是你想讀，你可以使用skiprows和nrows選項來啓動，在一個特定的行，然後讀取CSV的特定部分n行，如命名所示。

Answer 2

可能是內存問題。在read_csv上，你可以設置chunksize（你可以指定行數）。

或者，如果您不需要所有列，則可以更改read_csv上的usecols以僅導入所需的列。