是否存在S3縮放的已知限制?任何人都有這麼多的同時讀取或寫入,一桶開始返回錯誤?我對寫入的興趣比讀取更感興趣,因爲S3可能會針對讀取進行優化。有沒有人曾經讀過或寫過Amazon S3存儲桶的上限?
回答
Eric的評論總結說已經在概念層面,如FAQ What happens if traffic from my application suddenly spikes?解決,以及:
Amazon S3的從底層向上設計處理流量爲任何 互聯網應用。亞馬遜S3的龐大規模使我們能夠均勻傳播負載,因此沒有任何個別應用受到流量高峯的影響。
當然,你還需要考慮可能存在的問題和調[你]申請重複放緩錯誤(見Amazon S3 Error Best Practices):
與任何分佈式系統,S3有 檢測有意或無意資源過度消耗的保護機制和 作出相應的反應。 當高請求率 觸發其中一種機制時,可能會發生SlowDown錯誤。降低您的請求率將減少或消除這種類型的錯誤 。 一般來說,大多數 用戶不會經常遇到這些錯誤;然而,如果你 想了解更多信息或遇到高溫或意外 放緩錯誤,請郵寄到我們的亞馬遜S3開發者論壇 http://developer.amazonwebservices.com/connect/forum.jspa?forumID=24 或註冊AWS高級支持 http://aws.amazon.com/premiumsupport/。 [重點煤礦]
雖然罕見,這些緩慢起伏時有發生,當然 - 這裏是一個AWS team response說明問題(相當過時,雖然):
亞馬遜S3將返回該錯誤時,請求率足夠高 服務請求將導致其他 客戶的服務降級。這個錯誤很少被觸發。 如果您確實收到 ,那麼您應該按指數關閉。如果發生此錯誤,系統將會被動地重新平衡/分配資源以更好地支持更高的請求速率。結果,這個錯誤將會被拋出的時間段應該相對較短。 [重點煤礦]
您對讀與寫優化假設證實有作爲:
哪裏這個錯誤被觸發而變化,將取決於門檻, 部分,在請求類型和模式。一般來說,你可以通過獲取更多的獲取 達到較高的rps值,對於大量的密鑰獲取 少量密鑰與大量獲取。 當輸入或輸入大量密鑰時,如果密鑰的字母數字順序與隨機/散列的 順序相同,則可以實現更高的rps。
- 1. Amazon S3存儲桶上傳
- 2. 有沒有人曾經在Expression Engine上創建過購物車?
- 3. Amazon S3存儲桶備份
- 4. Amazon S3存儲桶策略
- 5. Amazon S3安全存儲桶
- 6. 有沒有人曾經做過SQL Server和Scimore的比較?
- 7. 使用c寫入Amazon S3存儲桶上的文件#
- 8. AWS node.js沒有創建S3存儲桶?
- 9. 如何通過簡單URL訪問Amazon S3私人存儲桶中的文件?
- 10. 計算Amazon S3存儲桶大小
- 11. Amazon S3 API無存儲桶錯誤
- 12. 使用python列出Amazon S3存儲桶中的所有文件
- 13. 我的Amazon S3存儲桶策略有問題嗎?
- 14. 僅適用於公共限制的Amazon S3存儲桶策略
- 15. 如何撤銷Amazon S3存儲桶中的公共權限
- 16. S3存儲桶策略 - 使用「任何經過驗證的用戶」或存儲桶策略?
- 17. Amazon S3存儲桶策略用於匿名上傳照片到存儲桶
- 18. 限制用戶使用Amazon IAM訪問單個S3存儲桶?
- 19. 如何將Amazon S3存儲桶權限設置爲IAM用戶?
- 20. Amazon AWS S3存儲桶通知權限更改
- 21. 上傳到S3存儲桶
- 22. 如何將字符串寫入Amazon S3存儲桶?
- 23. 有人曾經使用過一個variable.php文件嗎?
- 24. 無法下載或閱讀Amazon S3存儲桶中的Hive輸出
- 25. 有沒有人想過如何擴展Amazon RDS只讀副本?
- 26. 如何限制通過網絡訪問S3存儲桶
- 27. 的NodeJS LAMBDA S3存儲桶
- 28. 在Amazon S3上使用多個存儲桶還是整合到一個存儲桶中有什麼好處?
- 29. Amazon S3存儲桶上的「du」命令的等效
- 30. 在Amazon S3中刪除對象或存儲桶?
Amazon S3每秒處理數十萬個請求(http://aws.typepad.com/aws/amazon_s3/)。每個存儲桶的對象數沒有限制,所以我懷疑存儲桶級有任何併發限制。 – 2012-01-30 07:56:32
僅供參考,我剛剛在不到15天的時間內上傳了超過1000萬個文件,其中有30個併發線程。沒有遇到任何限制/問題。 – Benjamin 2013-08-11 20:46:01