Amazon S3：每秒最大PUT請求數

Question

我正在使用REST API將大量小項目傳遞給S3。平均有效載荷是〜10個字節。

的項目都進入一個水桶，並隨機名稱（即沒有字典順序）

從EC2，我已經成功的4-500每秒的速度。我正在使用一個由96個線程組成的線程池，其中有64個TCP連接。

我偶爾會得到一個HTTP 500，但還沒有收到503 - 意味着表明客戶端降低了請求的速度。

有沒有人知道我可以實際獲得什麼？我知道EC2和S3之間的管道可以管理20 MB/s的吞吐量，所以我希望做得更好一點。

Answer 1

使用REST傳輸這種微小的有效負載時，您看到的性能不佳並不奇怪。

做得更好的方法是重構協議或存儲的本質，以免事務開銷不是主導因素。

事實上，管道的大小對於你的問題來說並不重要，因爲你用HTTP開銷完全填充管道;例如，如果您可以將連接的吞吐量增加一倍，那麼您將能夠發送兩倍的無用開銷，並且實際上不會改變可用數據。