Python快速讀取和寫入文件

Question

這裏是我讀取一個名爲interact.csv的巨大文件（超過15個GiB）的代碼，並對每行進行一些檢查並根據檢查結果將交互文件拆分爲兩個單獨的文件：test.csv和trains.csv。

我的機器停下來需要兩天以上的時間。有什麼辦法可以使這種代碼更快，也許使用某種並行性？

target_items: a list containing some item IDs 

目前的方案：

with open(interactions) as interactionFile, open("train.csv", "wb") as train, open("test.csv", "wb") as test: 
    header=interactionFile.next(); 
    train.write(header+'\n') 
    test.write(header+'\n') 
    i=0 
    for row in interactionFile: 
     # process each row 
     l = row.split('\t') 
     if l[1] in target_items: 
      test.write(row+'\n') 
     else: 
      train.write(row+'\n') 
     print(i) 
     i+=1 

Answer 1

看看用Cython。它基於C，你應該修改你的代碼，它的運行速度要快得多。