md5/sha1散列大文件

Question

我有超過1/2百萬個文件散列多個文件夾 md5/crc散列花費的時間太長一些文件的大小是1GB〜11GB 我想只是散列文件的一部分使用頭

所以下面的工作，當涉及到散列發現和哈希的一切。

​​

我只是知道如何進一步採取這樣的步驟，只是做哈希的文件，例如

find . -type f -exec head -c 256kB | sha1sum 

不知道頭部是好的，在會中這種情況下使用的第一發言權256KB dd會更好嗎？ 上面的命令不工作，所以尋找想法如何我可以做到這一點

我想輸出是與在本地md5sum中看到的相同，例如在下面的格式（去文本文件）

<Hash> <file name> 

林不知道如果以上是可能的單線或會用於/ do循環需要使用.....性能使用bash上RHEL6

Answer 1

目前還不清楚是關鍵你的限制在哪裏。你有慢速磁盤還是慢速CPU？

如果您的磁盤不是限制，那麼您可能受限於使用單個內核。 GNU並行可與幫助：

find . -type f | parallel -X sha256sum 

如果限制是磁盤I/O，那麼你的head想法非常有道理：

sha() { 
    tail -c 1M "$1" | sha256sum | perl -pe 'BEGIN{$a=shift} s/-/$a/' "$1"; 
} 
export -f sha 
find . -type f -print0 | parallel -0 -j10 --tag sha 

的-j10的最佳值取決於你的磁盤系統上，所以請嘗試調整它直到找到最佳值（可以低至-j1）。