如何散列文件，以確定如果我已經看到它或不

Question

我開發一個web應用程序（使用Java EE 6 GF 3.1），允許用戶上傳PDF文件。由於這是一個封閉的小型社區，因此上傳的文件已存在於系統中的機會很多。我不能僅僅檢查名稱是否存在重複，因爲它顯然是不夠的。我正在考慮散列整個文件並將條目存儲在數據庫中。這是可行的，以及如何實現這一目標？如果不是，那麼什麼是更好的方法。

Answer 1

考慮使用校驗和。

這是http://www.exampledepot.com/egs/java.util.zip/CalculateChecksum.html

byte[] bytes = "some data".getBytes(); 

// Compute Adler-32 checksum 
Checksum checksumEngine = new Adler32(); 
checksumEngine.update(bytes, 0, bytes.length); 
long checksum = checksumEngine.getValue(); 

// Compute CRC-32 checksum 
checksumEngine = new CRC32(); 
checksumEngine.update(bytes, 0, bytes.length); 
checksum = checksumEngine.getValue(); 

// The checksum engine can be reused again for a different byte array by calling reset() 
checksumEngine.reset(); 

編輯：

注意校驗絕對不能告訴你，如果兩個文件是不同的，但是他們是非常有用的。

如果兩個文件相同，他們將具有相同的校驗和。

因此，如果校驗和不同，你知道絕對的文件不同。

但是兩個不同的文件有時也可能具有相同的校驗和。

所以使用這種方式是先計算校驗 - 如果有差別，這些文件是不同的。如果它們是相同的，則必須進行逐字節的比較。當然這比較慢，但不會經常發生。

還要注意這一切適用於哈希碼爲好。

Answer 2

您的解決方案非常優雅。計算文件內容的散列（MD5可能足以啓動）並將其用作數據庫中的主鍵。您可以將文件保存在數據庫中，也可以保存在外部（對此有很多爭議）。

下一次有人上載文件，計算哈希值，檢查數據庫，保存，如果不存在。

Answer 3

是的，這是可行的。事實上，這就是P2P程序識別文件的方法。

使用任何加密哈希算法（MD5，SHA-1等）

Java有使用MessageDigest類散列支持。

但是請注意，這樣可以避免存儲重複文件，但它不會阻止用戶上傳文件：只有在服務器端，您才能訪問文件內容並對其進行哈希處理，除非您使用具有訪問本地文件權限的applet或webstart應用程序。

Answer 4

當然，這是可行的，可以使用MessageDigest類來做到這一點。例如：

InputStream is = // input stream of the uploaded file 
byte[] buffer = new byte[1024]; 
byte[] digest; 
try { 
    MessageDigest md = MessageDigest.getInstance("MD5"); 

    for (int count = is.read(buffer); count != -1; count = is.read(buffer)) { 
     md.update(buffer, 0, count); 
    } 

    digest = md.digest(); 
    // store digest as needed, possibly Base64 encode first 
} 
catch (NoSuchAlgorithmException e) { 
    // handle 
} 

Answer 5

在過去，我已經使用蒂莫西·W^Macinta的（可能是這樣用戶@Tim Macinta）"Fast MD5 Implementation"。

最簡單的例子是：

// imports: java.io.File and com.twmacinta.util.MD5; 

String hash = MD5.asHex(MD5.getHash(new File(filename))); 

此實用程序還必須使用本機庫，以提高性能的能力。