如何使用多線程解壓縮python中的多個gz文件？

Question

我有多個gz文件，總大小約爲120GB。我想將這些文件解壓（gzip）到相同的目錄並刪除現有的gz文件。目前我們正在手動完成，並且需要更多時間來使用gzip -d <filename>解壓縮。
有沒有辦法通過創建python腳本或任何其他技術來並行解壓縮這些文件。目前這些文件在Linux機器上。

Answer 1

使用gunzip或gzip -d解壓文件的大部分掛鐘時間將來自I/O操作（讀取和寫入磁盤）。它甚至可能比實際解壓縮數據所耗費的時間更多。您可以通過在後臺運行多個gzip作業來利用此優勢。由於某些作業在I/O上被阻塞，所以另一項作業可以實際運行而無需在隊列中等待。

通過在後臺運行多個gunzip進程，可以加快整個文件集的解壓縮速度。每個服務一組特定的文件。

你可以在BASH中簡單地打個比方。將文件列表拆分爲單獨的命令，並使用&將其作爲後臺作業啓動。然後wait爲每個工作完成。

我會建議你有2到2 * N個就業機會。其中N是計算機上的核心數或邏輯處理器數。適當地進行試驗以獲得正確的數字。

您可以在BASH中輕鬆地調出某些東西。

#!/bin/bash 

argarray=("$@") 
len=${#argarray[@]} 

#declare 4 empty array sets 
set1=() 
set2=() 
set3=() 
set4=() 

# enumerate over each argument passed to the script 
# and round robin add it to one of the above arrays 

i=0 
while [ $i -lt $len ] 
do 

    if [ $i -lt $len ]; then 
     set1+=("${argarray[$i]}") 
     ((i++)) 
    fi 

    if [ $i -lt $len ]; then 
     set2+=("${argarray[$i]}") 
     ((i++)) 
    fi 

    if [ $i -lt $len ]; then 
     set3+=("${argarray[$i]}") 
     ((i++)) 
    fi 

    if [ $i -lt $len ]; then 
     set4+=("${argarray[$i]}") 
     ((i++)) 
    fi 
done 

# for each array, start a background job 
gzip -d ${set1[@]} & 
gzip -d ${set2[@]} & 
gzip -d ${set3[@]} & 
gzip -d ${set4[@]} & 

# wait for all jobs to finish  
wait 

在上面的例子中，我選擇了每個作業4個文件並開始兩個單獨的作業。您可以輕鬆擴展腳本以獲得更多作業，每個進程有更多文件，並將文件名稱作爲命令行參數。

Answer 2

你可以用multiprocessing Pools做到這一點很容易：

import gzip 
import multiprocessing 
import shutil 

filenames = [ 
    'a.gz', 
    'b.gz', 
    'c.gz', 
    ... 
] 

def uncompress(path): 
    with gzip.open(path, 'rb') as src, open(path.rstrip('.gz'), 'wb') as dest: 
     shutil.copyfileobj(src, dest) 

with multiprocessing.Pool() as pool: 
    for _ in pool.imap_unordered(uncompress, filenames, chunksize=1): 
     pass 

該代碼將產生幾道工序，每道工序都會在同一時間提取一個文件。

在這裏，我選擇了chunksize=1，以避免拖延過程，如果一些文件大於平均水平。