最快的方法來判斷Unix/Linux中的兩個文件是否相同？

Question

我有一個shell腳本，我需要檢查兩個文件是否相同。我爲很多文件做了這個，並且在我的腳本中，diff命令似乎是性能瓶頸。

這裏的行：

diff -q $dst $new > /dev/null 

if ($status) then ... 

莫不是比較的文件，可能是自定義算法，而不是默認diff更快的方法？

Answer 1

相信cmp將在第一個字節的區別停止：

cmp --silent $old $new || echo "files are different" 

Answer 2

爲什麼你不能得到兩個文件內容的散列？

試試這個腳本，調用它例如script.sh，然後運行它，如下所示：script.sh FILE1.TXT FILE2.TXT

#!/bin/bash 

file1=`md5 $1` 
file2=`md5 $2` 

if [ "$file1" = "$file2" ] 
then 
    echo "Files have the same content" 
else 
    echo "Files have NOT the same content" 
fi 

Answer 3

對於不相同的文件，任何方法都需要完全讀取兩個文件，即使讀取過去也是如此。

沒有其他選擇。因此，在某個時間點創建哈希或校驗和需要閱讀整個文件。大文件需要時間。

文件元數據檢索比讀取大文件要快得多。

那麼，有什麼文件元數據可以用來確定文件是不同的嗎？ 文件大小？或甚至只讀取文件的一小部分的文件命令的結果？

文件大小示例代碼片段：

ls -l $1 $2 | 
    awk 'NR==1{a=$5} NR==2{b=$5} 
     END{val=(a==b)?0 :1; exit(val) }' 

[ $? -eq 0 ] && echo 'same' || echo 'different' 

如果文件是相同的大小，然後你被卡住完整的文件讀取。

Answer 4

我喜歡@Alex Howansky爲此使用了'cmp --silent'。但我需要正反兩方面的迴應，所以我使用：

cmp --silent file1 file2 && echo '### SUCCESS: Files Are Identical! ###' || echo '### WARNING: Files Are Different! ###' 

然後我就可以在終端或用SSH運行此檢查的文件對一個恆定的文件。

Answer 5

嘗試也使用校驗和命令：

chk1=`cksum <file1> | awk -F" " '{print $1}'` 
chk2=`cksum <file2> | awk -F" " '{print $1}'` 

if [ $chk1 -eq $chk2 ] 
then 
    echo "File is identical" 
else 
    echo "File is not identical" 
fi 

的校驗和命令將輸出文件的字節數。參見'man cksum'。