針對網站端點的s3速率限制

Question

我正在通過其網站終端以各種路徑/鍵訪問我的s3存儲桶。當我在5分鐘的過程中以每秒1000個請求點擊時，我能夠得到確定（200）的響應。我正在使用一個流行的工具：https://github.com/tsenart/vegeta，所以我對這些統計信心很有信心。

這是驚人的考慮documentation說，以上任何東西是每秒800是有問題的。

在節流方面使用的是不同於API調用的網站端點嗎？ 800是一個實際的利率限制還是一個粗略的持有者？

Answer 1

這是一個軟限制，從桶級角度來看並不是真正的限制。仔細讀。該文檔警告快速請求率增加超過800請求每秒可能導致的臨時速率限制。

S3通過密鑰空間分區拆分增加可用容量，這需要一段時間才能發生......但是存儲桶隨着工作負載的擴大而增加。

如果您要重複請求相同的對象，那麼您也不太可能在可用資源上施加儘可能多的負載，如果您每秒觸及800個獨特對象並在行之間讀取，那就是正在討論的閾值 - 在桶索引中查找關鍵字的時間。最近的點擊可能比索引中的冷點更容易獲得。

文檔突出顯示的問題是，您的對象鍵在詞法上是連續的，那麼S3將無法有意義地拆分這些分區，因爲您將始終僅在拆分或另一側創建新對象，從而針對S3的縮放算法進行工作。