你會如何將文件寫入s3並行？即不是逐一序列化

Question

我每小時都有10K個文件寫入S3，我怎麼能並行執行此操作？

Answer 1

使用多個線程或使用S3驅動程序嘗試EventMachine。您需要每秒大約3個文件的吞吐量，這取決於文件大小應該不那麼難。確保在每個文件之間使用HTTP keep-alive不重新連接。