boto是否對大文件很慢？

Question

我正在做大量上傳大文件的性能測試，訂單爲100MB +。我已經閱讀了關於分解和上傳片段的帖子，但我只是想弄清楚大文件能夠多快。

當我上傳並觀看collectl的性能時，秒數不會超過5MB /秒。另一方面，如果我將文件大小減少到50MB，我可以以20MB /秒的速度上傳。

是否有一些基於文件大小的魔法？有沒有辦法讓我的單個100MB文件上傳更快？如果它是500MB甚至5G會發生什麼？

嗯，我試了很多次，一直得到5MB /秒，現在當我再次嘗試時，我得到了15歲以上。這是因爲我共享帶寬？

-mark

Answer 1

有絕對不是任何魔力博託會佔到你所觀察的變異回事。這個方程中有很多變量，例如您自己與互聯網的連接，您的提供商與骨幹網的連接，整體網絡流量，S3上的負載等等，以至於很難獲得明確的答案。

通常，我發現我可以通過使用分段上傳和某種併發性來實現最佳性能。 boto中的s3put命令行實用程序提供了一種執行此操作的示例。此外，如果您的S3存儲桶位於特定區域，則如果連接到該特定端點而不是通用S3端點，則可能會看到更好的性能。