如何獲得亞馬遜S3上文件的md5sum

Question

如果我在亞馬遜S3上有現有文件，在不必下載文件的情況下獲取md5sum的最簡單方法是什麼？

謝謝

Answer 1

嗯......我想你可以看看ETag頭。 （在這種情況下，您可以使用HTTP HEAD方法而不是GET）。他們不太明確地說，但幾乎可以肯定，Amazon使用MD5散列作爲ETag。從PUT Object documentation（說不上來爲什麼他們不只是直截了當地說）：

爲了確保數據不被損壞，在網絡上，使用Content-MD5標頭。當您使用Content-MD5標頭時，Amazon S3會根據提供的MD5值檢查對象。如果它們不匹配，則Amazon S3會返回錯誤。此外，您可以在將對象放入Amazon S3時計算MD5，並將返回的Etag與計算出的MD5值進行比較。

此外，SOAP methods讓您只請求元數據而不是數據本身。

Answer 2

對於分段上傳，ETag似乎不是MD5（按照Gael Fraiteur的評論）。在這些情況下，它包含一個減號和一個數字的後綴。然而，即使是減號之前的位似乎也不是MD5，即使它與MD5的長度相同。後綴可能是上傳的零件數量？

Answer 3

我已經交叉檢查jets3t和管理控制檯上傳文件的MD5sum，並且ETag似乎等於MD5sum。你可以查看文件的屬性在AWS管理控制檯：

https://console.aws.amazon.com/s3/home

Answer 4

這對我的作品。 在PHP中，你使用這個可以比較本地文件Ë亞馬遜文件的校驗：

    // get localfile md5 
    $checksum_local_file = md5_file ('/home/file'); 

    // compare checksum between localfile and s3file  
    public function compareChecksumFile($file_s3, $checksum_local_file) { 

     $Connection = new AmazonS3(); 
     $bucket = amazon_bucket; 
     $header = $Connection->get_object_headers($bucket, $file_s3); 

     // get header 
     if (empty ($header) || ! is_object ($header)) { 
      throw new RuntimeException('checksum error'); 
     } 
     $head = $header->header; 
     if (empty ($head) || !is_array($head)) { 
      throw new RuntimeException('checksum error'); 
     } 
     // get etag (md5 amazon) 
     $etag = $head['etag']; 
     if (empty ($etag)) { 
      throw new RuntimeException('checksum error'); 
     } 
     // remove quotes 
     $checksumS3 = str_replace('"', '', $etag); 

     // compare md5 
     if ($checksum_local_file === $checksumS3) { 
      return TRUE; 
     } else { 
      return FALSE; 
     } 
    } 

Answer 5

對於任何人誰花時間來搜索周圍找出爲什麼MD5不一樣的ETag的S3。

ETag會根據數據卡盤計算並concat所有md5hash再次進行md5哈希，並將塊數保留在最後。

這裏是C＃版本生成散列

string etag = HashOf("file.txt",8); 

源代碼

private string HashOf(string filename,int chunkSizeInMb) 
    { 
     string returnMD5 = string.Empty; 
     int chunkSize = chunkSizeInMb * 1024 * 1024; 

     using (var crypto = new MD5CryptoServiceProvider()) 
     { 
      int hashLength = crypto.HashSize/8; 

      using (var stream = File.OpenRead(filename)) 
      { 
       if (stream.Length > chunkSize) 
       { 
        int chunkCount = (int)Math.Ceiling((double)stream.Length/(double)chunkSize); 

        byte[] hash = new byte[chunkCount*hashLength]; 
        Stream hashStream = new MemoryStream(hash); 

        long nByteLeftToRead = stream.Length; 
        while (nByteLeftToRead > 0) 
        { 
         int nByteCurrentRead = (int)Math.Min(nByteLeftToRead, chunkSize); 
         byte[] buffer = new byte[nByteCurrentRead]; 
         nByteLeftToRead -= stream.Read(buffer, 0, nByteCurrentRead); 

         byte[] tmpHash = crypto.ComputeHash(buffer); 

         hashStream.Write(tmpHash, 0, hashLength); 

        } 

        returnMD5 = BitConverter.ToString(crypto.ComputeHash(hash)).Replace("-", string.Empty).ToLower()+"-"+ chunkCount; 
       } 
       else { 
        returnMD5 = BitConverter.ToString(crypto.ComputeHash(stream)).Replace("-", string.Empty).ToLower(); 

       } 
       stream.Close(); 
      } 
     } 
     return returnMD5; 
    } 

Answer 6

的ETag AWS的文件說：

實體標記爲對象的哈希值。 ETag僅反映對象內容的變化，而不反映其元數據。 ETag可能是也可能不是對象數據的MD5摘要。不論它是取決於對象是如何創建的，以及如何，如下所述加密：由PUT物件，POST對象或複製操作創建

• 對象，或通過AWS管理控制檯，並且是由SSE-S3或明文加密，具有ETags，它們是對象數據的MD5摘要。
• 由PUT對象，POST對象或複製操作或通過AWS管理控制檯創建並由SSE-C或SSE-KMS加密的對象具有不是其對象數據的MD5摘要的ETags。
• 如果通過分段上載或部分複製操作創建對象，則無論採用何種加密方法，ETag都不是MD5摘要。

參考：http://docs.aws.amazon.com/AmazonS3/latest/API/RESTCommonResponseHeaders.html

Answer 7

這裏是代碼即可獲得MD5哈希按照2017年

import java.security.MessageDigest; 
import java.security.NoSuchAlgorithmException; 
import org.apache.commons.codec.binary.Base64; 
public class GenerateMD5 { 
public static void main(String args[]) throws Exception{ 
    String s = "<CORSConfiguration> <CORSRule> <AllowedOrigin>http://www.example.com</AllowedOrigin> <AllowedMethod>PUT</AllowedMethod> <AllowedMethod>POST</AllowedMethod> <AllowedMethod>DELETE</AllowedMethod> <AllowedHeader>*</AllowedHeader> <MaxAgeSeconds>3000</MaxAgeSeconds> </CORSRule> <CORSRule> <AllowedOrigin>*</AllowedOrigin> <AllowedMethod>GET</AllowedMethod> <AllowedHeader>*</AllowedHeader> <MaxAgeSeconds>3000</MaxAgeSeconds> </CORSRule> </CORSConfiguration>"; 

     MessageDigest md = MessageDigest.getInstance("MD5"); 
     md.update(s.getBytes()); 
     byte[] digest = md.digest(); 
     StringBuffer sb = new StringBuffer(); 
     /*for (byte b : digest) { 
      sb.append(String.format("%02x", b & 0xff)); 
     }*/ 
     System.out.println(sb.toString()); 
     StringBuffer sbi = new StringBuffer(); 
     byte [] bytes = Base64.encodeBase64(digest); 
     String finalString = new String(bytes); 
     System.out.println(finalString); 
    } 
} 

註釋代碼是大多數人把它錯誤的將其更改爲十六進制

Answer 8

下面是從c＃轉換爲PowerShell中的對象獲取S3 ETag的代碼。

function Get-ETag { 
    [CmdletBinding()] 
    param(
    [Parameter(Mandatory=$true)] 
    [string]$Path, 
    [Parameter(Mandatory=$true)] 
    [int]$ChunkSizeInMb 
) 

    $returnMD5 = [string]::Empty 
    [int]$chunkSize = $ChunkSizeInMb * [Math]::Pow(2, 20) 

    $crypto = New-Object System.Security.Cryptography.MD5CryptoServiceProvider 
    [int]$hashLength = $crypto.HashSize/8 

    $stream = [System.IO.File]::OpenRead($Path) 

    if($stream.Length -gt $chunkSize) { 
    $chunkCount = [int][Math]::Ceiling([double]$stream.Length/[double]$chunkSize) 
    [byte[]]$hash = New-Object byte[]($chunkCount * $hashLength) 
    $hashStream = New-Object System.IO.MemoryStream(,$hash) 
    [long]$numBytesLeftToRead = $stream.Length 
    while($numBytesLeftToRead -gt 0) { 
     $numBytesCurrentRead = [int][Math]::Min($numBytesLeftToRead, $chunkSize) 
     $buffer = New-Object byte[] $numBytesCurrentRead 
     $numBytesLeftToRead -= $stream.Read($buffer, 0, $numBytesCurrentRead) 
     $tmpHash = $crypto.ComputeHash($buffer) 
     $hashStream.Write($tmpHash, 0, $hashLength) 
    } 
    $returnMD5 = [System.BitConverter]::ToString($crypto.ComputeHash($hash)).Replace("-", "").ToLower() + "-" + $chunkCount 
    } 
    else { 
    $returnMD5 = [System.BitConverter]::ToString($crypto.ComputeHash($stream)).Replace("-", "").ToLower() 
    } 

    $stream.Close() 
    $returnMD5 
}