與分裂的大文件夾

Question

並行焦油我真的龐大的文件夾，我想存檔gzip和其拆分：

#!/bin/bash 
dir=$1 
name=$2 
size=32000m 
tar -czf /dev/stdout ${dir} | split -a 5 -d -b $size - ${name} 

是否有辦法與平行GNU加快呢？ 謝謝。

Answer 1

似乎並行gzip壓縮的最佳工具是pigz。請參閱comparisons。

有了它，你可以有這樣的命令：

tar -c "${dir}" | pigz -c | split -a 5 -d -b "${size}" - "${name}" 

憑藉其選項-p你也可以指定要使用線程數（默認是在線的處理器的數量，或8如有不明）。有關更多信息，請參閱pigz --help或man pigz。

UPDATE

使用GNU平行，你可以做一些這樣的：

contents=("$dir"/*) 
outdir=/somewhere 
parallel tar -cvpzf "${outdir}/{}.tar.gz" "$dir/{}" ::: "${contents[@]##*/}"