從上傳到EC2 S3一個巨大的文件失敗

我想從EC2上傳160 GB的文件使用從上傳到EC2 S3一個巨大的文件失敗

s3cmd put --continue-put FILE s3://bucket/FILE

但每次上載與消息中斷到S3：

FILE -> s3://bucket/FILE [part 10001 of 10538, 15MB] 8192 of 15728640 0% in 1s 6.01 kB/s failed 

ERROR: Upload of 'FILE' part 10001 failed. Aborting multipart upload. 
ERROR: Upload of 'FILE' failed too many times. Skipping that file.

的目標存儲區確實存在。

問題的原因是什麼？

有沒有其他方法可以上傳文件？

謝謝。

來源

2014-04-27 hdf

很多可能的解決方案在這裏：http://stackoverflow.com/questions/5774808/s3cmd-failed-too-many-times –

謝謝！其中一個解決了我的問題，但是是什麼導致了這個問題？ – hdf

針對此特定情況的解決方案： http://stackoverflow.com/a/22107084/3189744 – hdf

每個對象最多可以有10000個上傳部件，因此它在部件10001上失效。使用較大的部件可能會解決該問題。

來源

2014-04-27 19:25:02

「巨大」---它是10s還是100s的GB？ s3將對象大小限制爲5GB，如果超過大小限制，則上傳可能會失敗。

來源

2014-04-27 17:32:41 ericzma

該文件具有160 GB的大小。我沒有問題上傳高達80 GB的文件 – hdf

啊......我關於S3的過時信息..他們現在支持高達5TB：http://aws.typepad.com/aws/2010/12/amazon-s3 -object - 大小 - limit.html – ericzma

從上傳到EC2 S3一個巨大的文件失敗

回答

相關問題