使用Python編寫大型CSV文件的最快方法

我想在csv文件中編寫一些隨機樣本數據，直到它達到1GB大爲止。以下代碼正在工作：使用Python編寫大型CSV文件的最快方法

import numpy as np 
import uuid 
import csv 
import os 
outfile = 'data.csv' 
outsize = 1024 # MB 
with open(outfile, 'ab') as csvfile: 
    wtr = csv.writer(csvfile) 
    while (os.path.getsize(outfile)//1024**2) < outsize: 
     wtr.writerow(['%s,%.6f,%.6f,%i' % (uuid.uuid4(), np.random.random()*50, np.random.random()*50, np.random.randint(1000))])

如何讓它更快？

來源

2015-01-01 Balzer82

爲什麼你用numpy標記這個問題，但不要使用它（它不需要隨機數）？爲什麼要創建一個csv-writer但每行只寫一個字符串？沒有給出，文件大小在文件未關閉時更新。自己計算大小，不要使用'getsize'，也要快得多。 – Daniel

刪除所有不必要的東西，因此它應該是更快，更容易理解：

import random 
import uuid 
outfile = 'data.csv' 
outsize = 1024 * 1024 * 1024 # 1GB 
with open(outfile, 'ab') as csvfile: 
    size = 0 
    while size < outsize: 
     txt = '%s,%.6f,%.6f,%i\n' % (uuid.uuid4(), random.random()*50, random.random()*50, random.randrange(1000)) 
     size += len(txt) 
     csvfile.write(txt)

來源

2015-01-01 14:45:22 Daniel

是len（txt）==文件大小？而'random.randint（1000）'需要2個參數。 – Balzer82

randint - > randrange。而'len（txt）'是一行的長度。 – Daniel

好的。但是一行的長度或行長的總和不是文件大小。順便說一句，你的代碼不會更快。試試看。 – Balzer82

的問題似乎主要是IO的限制。您可以通過在更大的塊寫入文件，而不是在一個時間寫一行提高I/O位：

import numpy as np 
import uuid 
import csv 
import os 
outfile = 'data-alt.csv' 
outsize = 10 # MB 
chunksize = 1000 
with open(outfile, 'ab') as csvfile: 
    while (os.path.getsize(outfile)//1024**2) < outsize: 
     data = [[uuid.uuid4() for i in range(chunksize)], 
       np.random.random(chunksize)*50, 
       np.random.random(chunksize)*50, 
       np.random.randint(1000, size=(chunksize,))] 
     csvfile.writelines(['%s,%.6f,%.6f,%i\n' % row for row in zip(*data)])

您可以用CHUNKSIZE（每塊寫入的行數），看實驗什麼最適合你的機器。

這裏是一個標杆，上面的代碼進行比較，以你的原代碼，用outsize設置爲10 MB：

% time original.py 

real 0m5.379s 
user 0m4.839s 
sys 0m0.538s 

% time write_in_chunks.py 

real 0m4.205s 
user 0m3.850s 
sys 0m0.351s

因此，這是比原來的代碼快約25％。

PS。我試着用所估計的總行數來替換os.path.getsize的調用。不幸的是，它並沒有提高速度。由於表示最終整數所需的字節數有所不同，所以估計也是不精確的 - 也就是說，它不能完美地複製原始代碼的行爲。所以我離開了os.path.getsize。

來源

2015-01-01 15:43:10 unutbu

使用Python編寫大型CSV文件的最快方法

回答

相關問題