python腳本將目錄中的所有文件連接成一個文件

Question

我已經編寫了以下腳本來將目錄中的所有文件連接成一個文件。

可以這樣進行優化，在

1. 慣用蟒蛇方面

2. 時間

下面是摘錄：

import time, glob 

outfilename = 'all_' + str((int(time.time()))) + ".txt" 

filenames = glob.glob('*.txt') 

with open(outfilename, 'wb') as outfile: 
    for fname in filenames: 
     with open(fname, 'r') as readfile: 
      infile = readfile.read() 
      for line in infile: 
       outfile.write(line) 
      outfile.write("\n\n") 

Answer 1

使用shutil.copyfileobj複製數據：

import shutil 

with open(outfilename, 'wb') as outfile: 
    for filename in glob.glob('*.txt'): 
     if filename == outfilename: 
      # don't want to copy the output into the output 
      continue 
     with open(filename, 'rb') as readfile: 
      shutil.copyfileobj(readfile, outfile) 

shutil從以塊的readfile對象讀取，將其寫入到outfile文件對象直。請勿使用readline()或迭代緩衝區，因爲您不需要查找行尾的開銷。

使用相同的模式讀取和寫入;這在使用Python 3時尤爲重要;我在這裏使用二進制模式。

Answer 2

可以遍歷l直接文件對象的分級表，沒有閱讀整個事情到內存：

with open(fname, 'r') as readfile: 
    for line in readfile: 
     outfile.write(line) 

Answer 3

不需要使用那麼多的變量。

with open(outfilename, 'w') as outfile: 
    for fname in filenames: 
     with open(fname, 'r') as readfile: 
      outfile.write(readfile.read() + "\n\n") 

Answer 4

的fileinput模塊提供了一個自然的方式來遍歷多個文件

for line in fileinput.input(glob.glob("*.txt")): 
    outfile.write(line) 

Answer 5

使用Python 2.7，我做的

outfile.write(infile.read()) 

一些 「標杆」 測試VS

shutil.copyfileobj(readfile, outfile) 

我迭代了超過20個.txt文件，大小從63 MB到313 MB，聯合文件大小約爲2.6 GB。在這兩種方法中，正常讀取模式比二進制讀取模式執行得更好，shutil.copyfileobj通常比outfile.write快。

當比較最差的組合（outfile.write，二進制模式）的最佳組合（shutil.copyfileobj，正常讀取模式），差異相當顯著：

outfile.write, binary mode: 43 seconds, on average. 

shutil.copyfileobj, normal mode: 27 seconds, on average. 

outfile中有一個最終的尺寸在正常讀取模式下爲2620 MB，在二進制讀取模式下爲2578 MB。