如何查找用於在Amazon S3上創建現有多部分對象的零件大小？

由於文件中有大量零件，很容易找到合適的零件尺寸（因爲可能的零件尺寸的排列數量有限，零件尺寸通常可以假定爲落在MiB或MB邊界上）。如何查找用於在Amazon S3上創建現有多部分對象的零件大小？

但是，對於給定的上載，隨着零件數量的減少，出現零件尺寸的許多不同可能性，並且變得難以推算出確認計算的數量和耗時的算法。

知道了零件尺寸是有用的，因爲用於在S3的ETag計算算法僅當有效載荷匹配和兩個對象被上傳過程中使用相同的部分的大小創建生成用於兩個相同物體相同的值。否則，它會爲兩個相同的對象生成不同的ETag值。（在HTTP本身中沒有要求兩個相同的對象具有相同的ETag，但匹配ETag值對於完整性驗證是有用的）。

是否可以學習用於在S3中上載現有對象的零件尺寸？

來源

2017-07-31 Gery Vessere

我會回答我自己的問題，因爲這已經擾亂了我一段時間，我只是找到了解決這個問題的方法。對於複製桶的內容，大多數（如果不是全部的話）我已經看到了解決方案，只能猜測分區大小，並放棄在源桶和目標桶上匹配etags的想法。有趣的是，他們本身已經發布了鐘意猜測零件號碼的鐘樓框架，並且只假設它已被aws cli工具複製。

原來有這樣的記載方式：AWS CLI工具有一個選項的get對象和頭部對象的API，它可以讓你指定你想這樣的哪個部分號碼：

aws s3api head-object --bucket YOURBUCKET --key YOURKEY --part-number 1

這會回到你的頭部看起來像這樣：

{ 
    "AcceptRanges": "bytes", 
    "ContentType": "application/octet-stream", 
    "LastModified": "Mon, 31 Jul 2017 08:23:11 GMT", 
    "ContentLength": 8388608, 
    "ETag": "\"XXXX-6\"", 
    "ServerSideEncryption": "AES256", 
    "PartsCount": 6, 
    "Metadata": {} 
}

在這種情況下，你可以看到我們被告知此上傳零件尺寸應該是通過部件號的ContentLength頭是什麼1：那是8 MB ，與用於上傳此對象的尺寸相同...

如果您使用--debug標誌，則可以看到在REST世界中這是如何完成的：它們僅添加url參數partNumber = 1

aws --debug s3api head-object --bucket YOURBUCKET --key YOURKEY --part-number 1 

.... 

2017-07-31 16:21:46,968 - MainThread - botocore.endpoint - DEBUG - Making request for OperationModel(name=HeadObject) (verify_ssl=True) with params: 
{'body': '', 'url': u'https://s3.amazonaws.com/YOURKEY/?partNumber=1', 
'headers': {'User-Agent': 'aws-cli/1.11.127 Python/2.7.12 Linux/4.4.35-33.55.amzn1.x86_64 botocore/1.5.90'}, 
'context': {'auth_type': None, 'client_region': 'us-east-1', 'signing': {'bucket': u'YOURBUCKET'}, 'has_streaming_input': False, 'client_config': <botocore.config.Config object at 0x7f20a8e1ff50>}, 
-----> 'query_string': {u'partNumber': 1}, <----- 
'url_path': u'/YOURBUCKET/YOURKEY', 'method': u'HEAD'} 

....

接下來的一點是搞清楚如何簽署這樣的網址。 aws cli命令「aws s3 presign」無法做到這一點。

來源

2017-07-31 16:46:38

虛幻。這是一個很好的偵查。 –

如何查找用於在Amazon S3上創建現有多部分對象的零件大小？

回答

相關問題