如何計算tar文件中每個文件的shasum

我正在尋找一種方法來計算tar文件中包含的每個文件的sha-256值。問題是焦油是300GB和超過200,000包含的文件。如何計算tar文件中每個文件的shasum

這將是可能的bash幾種不同的方式做到這一點。

提取物，然後用find

tmp=`mktmp --directory extract_XXX` 
cd "$tmp" 
tar -xf "$tarfile" 
find "$tmp" -type f -exec shasum -ba 256 {} + 
cd .. 
rm -rf "$tmp"

這種方法是不好的，因爲它需要300GB空間的工作空間，是緩慢的，因爲它具有計算總和

之前將數據複製列出tar文件並計算個人總和

tar -tf "$tarfile" awk '/\/$/ {next} {print $0}' | while read file ; do 
    sum=`tar -xOf "$tarfile" "$file" | shasum -ba 256` 
    echo "${sum%-}${file}" 
done

這需要較少的磁盤空間，但要慢得多

我如何在tar文件中的單次做到這一點沒有它解壓到一個臨時目錄？

我已將此標記爲bash和python ...當前代碼是bash，但我對語言很靈活。

來源

2017-02-10 Philip Couling

的tar實用知道它的方式： tar xvf "$tarfile" --to-command 'shasum -ba 256' 的-v標誌是重要的，因爲tar在命令的標準輸入處發送每個文件。它將在一行中輸出一個SHA文件，然後你可以很容易地進一步處理。

編輯：這裏是完整的殼唯一的代碼輸出在一個單一的tar文件SHA256s傳： shopt -s extglob tar xvf "$tarfile" --to-command 'shasum -ba 256' | \ while read L; do [[ $L == *" *-" ]] && echo $SHAFILE ${L:0:64} || SHAFILE=$L done 對於glibc的源存檔，輸出看起來像： glibc-2.24/.gitattributes c3f8f279e7e7b0020028d06de61274b00b6cb84cfd005a8f380c014ef89ddf48 glibc-2.24/.gitignore 35bcd2a1d99fbb76087dc077b3e754d657118f353c3d76058f6c35c8c7f7abae glibc-2.24/BUGS 9b2d4b25c8600508e1d148feeaed5da04a13daf988d5854012aebcc37fd84ef6 glibc-2.24/CONFORMANCE 66b6e97c93a2381711f84f34134e8910ef4ee4a8dc55a049a355f3a7582807ec

編輯由OP：

作爲一襯墊可以做到這一點爲：

tar xf "$tarfile" --to-command 'bash -c "sum=`shasum -ba 256`; echo \"\${sum%-}$TAR_FILENAME\""'

手冊頁面在這裏：https://www.gnu.org/software/tar/manual/tar.html#SEC87

來源

2017-02-10 23:10:32

我不知道有多快會是，但在Python是可以做到的方式如下：

import tarfile 
import hashlib 

def sha256(flo): 
    hash_sha256 = hashlib.sha256() 
    for chunk in iter(lambda: flo.read(4096), b'') 
     hash_sha256.update(chunk) 
    return hash_sha256.hexdigest() 

with tarfile.open('/path/to/tar/file') as mytar: 
    for member in mytar.getmembers(): 
     with mytar.extractfile(member) as _file: 
      print('{} {}'.format(sha256(_file), member.name))

來源

2017-02-10 22:54:46 Dalvenjia

如何計算tar文件中每個文件的shasum

回答

相關問題