讀取和解析的TSV文件，然後操縱它保存爲CSV（*有效*）

Question

我的源數據是在一個TSV文件，6列和大於2個百萬行。

這裏就是我試圖完成：

1. 我需要在列3讀取數據（3，4，5）在這個源文件
2. 第五欄是一個整數。我需要使用此整數值來複制使用第三列和第四列中的數據（按整數次數）的行條目。
3. 我想將＃2的輸出寫入CSV格式的輸出文件。

下面是我想出了。

我的問題：這是一種有效的方式做到這一點？在200萬行上嘗試時似乎可能是密集型的。

首先，我做了一個樣本標籤單獨的文件的工作，並把它稱爲「sample.txt的」。這是基本的和只有四行：

Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6 
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6 
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6 
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6 

然後我有這樣的代碼：

import csv 

with open('sample.txt','r') as tsv: 
    AoA = [line.strip().split('\t') for line in tsv] 

for a in AoA: 
    count = int(a[4]) 
    while count > 0: 
     with open('sample_new.csv','ab') as csvfile: 
      csvwriter = csv.writer(csvfile, delimiter=',') 
      csvwriter.writerow([a[2], a[3]]) 
     count = count - 1 

Answer 1

您應該使用csv模塊讀取製表符分隔值文件。做不是一口氣讀入內存。畢竟，你閱讀的每一行都具有將行寫入輸出CSV文件所需的全部信息。保持輸出文件始終打開。

import csv 

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout: 
    tsvin = csv.reader(tsvin, delimiter='\t') 
    csvout = csv.writer(csvout) 

    for row in tsvin: 
     count = int(row[4]) 
     if count > 0: 
      csvout.writerows([row[2:4] for _ in xrange(count)]) 

，或者使用itertools模塊做itertools.repeat()重複：

from itertools import repeat 
import csv 

with open('sample.txt','rb') as tsvin, open('new.csv', 'wb') as csvout: 
    tsvin = csv.reader(tsvin, delimiter='\t') 
    csvout = csv.writer(csvout) 

    for row in tsvin: 
     count = int(row[4]) 
     if count > 0: 
      csvout.writerows(repeat(row[2:4], count))