百萬行csv文件，需要行數

Question

我在一個文件夾中有90個csv文件，每個文件都很大，我怎樣才能得到一個文本文件中所有csv文件的行數？

Answer 1

如果您不需要使用Python腳本，可以做到這一點在* NIX命令行：

wc -l *.csv > outputfilename 

如果你真的想使用Python這樣做：

import os 
import csv 

dirname = 'directory/with/csv/files' 
outfile = open('path/to/output/file') 
for fname in os.listdir(dirname): 
    if not fname.endswith('.csv'): 
     continue 
    with open(os.path.join(dirname, fname)) as infile: 
     numlines = sum(1 for row in csv.reader(infile)) 
     outfile.write("file {} contains {} lines\n".format(fname, numlines)) 
outfile.close() 

Answer 2

這方法計數行大約比具有一百萬行文件的sum(generator-expression)快5倍。它只計算所有換行符。

with open(csv_file) as f: 
    s = f.read() 
numlines = s.count('\n') 

您可能想要替換爲@ inspectorG4dget的解決方案，看看它是否有所作爲。