AWS CLI是否將大於4GB的文件上傳到Amazon Glacier？

的AWS命令行界面（CLI）允許to upload a file to AWS Glacier。但是AWS Rest API中還有一個limit of 4GB for file uploads。如果我需要通過Rest API上傳大於4GB的文件，我需要使用多部分上傳。AWS CLI是否將大於4GB的文件上傳到Amazon Glacier？

我的問題是：在AWS CLI內部處理文件大於4GB上傳更大，或者我需要處理自己的多載處理大於4GB的文件時？我可以將一個20Gb文件傳遞給AWS CLI的upload-archive選項，它可以正常工作嗎？如果CLI無法直接處理大文件上傳，有任何命令行工具，它會爲我（從實現所有的校驗和計算，錯誤處理的麻煩釋放我，當部分上傳失敗重試邏輯）？

據我所知，4GB的限制是對AWS REST API，但我無法找到有關此限制的是如何在CLI處理任何事情。我可以進行測試，但是我的上傳速度並不快，我擔心會浪費幾個小時纔會發現它不起作用。

來源

2017-08-13 lgfischer

從EBS和S3之間的練習中，CLI需要明確處理多部分上傳 - 但這並不困難 – mpez0

根據您鏈接的cli文檔，您仍然需要自己完成樹哈希計算。除非您特別需要冰川專用功能（例如保險庫鎖定），否則您的興趣可能通過上傳到S3並使用生命週期策略遷移到S3 Glacier存儲類來實現。它比直接使用冰川更容易使用，而且存儲成本基本相同（使用S3時每個物體的開銷爲+ 40KiB）。 –

根據[S3定價頁]（https://aws.amazon.com/s3/pricing/?nc1=f_ls），在S3中存儲對象是存儲關於冰川，這使得存儲對象上S3不是5.75倍的價格我的選擇。 – lgfischer

我使用的是冰川-CMD（https://github.com/uskudnik/amazon-glacier-cmd-interface），效果很好，但似乎是不支持最近。有時它會對大文件（〜50GB）造成超時。

來源

2017-09-18 11:47:15 Vitaly

感謝您分享此工具。「大文件超時」是否意味着無法上傳大文件？或者它需要很長時間才能上傳？ – lgfischer

我查看了我的日誌和冰川清單 - 根據它們，超時錯誤不會影響上傳。看來最近版本的glacier-cmd知道在這種情況下會重試。但是，高達20％的大文件（50G）文件上傳失敗，但有一些例外。類似於這裏討論的https://github.com/uskudnik/amazon-glacier-cmd-interface/issues/188。 Botton line - AFAIK，glacier-cmd是AWS Glacier CLI中唯一的高級包裝，它大部分工作正常。您可以通過一些簡單的腳本來組織重試。 – Vitaly

AWS CLI是否將大於4GB的文件上傳到Amazon Glacier？

回答

相關問題