2012-01-30 34 views
6

是否存在S3縮放的已知限制?任何人都有這麼多的同時讀取或寫入,一桶開始返回錯誤?我對寫入的興趣比讀取更感興趣,因爲S3可能會針對讀取進行優化。有沒有人曾經讀過或寫過Amazon S3存儲桶的上限?

+0

Amazon S3每秒處理數十萬個請求(http://aws.typepad.com/aws/amazon_s3/)。每個存儲桶的對象數沒有限制,所以我懷疑存儲桶級有任何併發​​限制。 – 2012-01-30 07:56:32

+0

僅供參考,我剛剛在不到15天的時間內上傳了超過1000萬個文件,其中有30個併發線程。沒有遇到任何限制/問題。 – Benjamin 2013-08-11 20:46:01

回答

4

Eric的評論總結說已經在概念層面,如FAQ What happens if traffic from my application suddenly spikes?解決,以及:

Amazon S3的從底層向上設計處理流量爲任何 互聯網應用。亞馬遜S3的龐大規模使我們能夠均勻傳播負載,因此沒有任何個別應用受到流量高峯的影響。

當然,你還需要考慮可能存在的問題和調[你]申請重複放緩錯誤(見Amazon S3 Error Best Practices):

與任何分佈式系統,S3有 檢測有意或無意資源過度消耗的保護機制和 作出相應的反應。 當高請求率 觸發其中一種機制時,可能會發生SlowDown錯誤。降低您的請求率將減少或消除這種類型的錯誤 。 一般來說,大多數 用戶不會經常遇到這些錯誤;然而,如果你 想了解更多信息或遇到高溫或意外 放緩錯誤,請郵寄到我們的亞馬遜S3開發者論壇 http://developer.amazonwebservices.com/connect/forum.jspa?forumID=24 或註冊AWS高級支持 http://aws.amazon.com/premiumsupport/[重點煤礦]

雖然罕見,這些緩慢起伏時有發生,當然 - 這裏是一個AWS team response說明問題(相當過時,雖然):

亞馬遜S3將返回該錯誤時,請求率足夠高 服務請求將導致其他 客戶的服務降級。這個錯誤很少被觸發。 如果您確實收到 ,那麼您應該按指數關閉。如果發生此錯誤,系統將會被動地重新平衡/分配資源以更好地支持更高的請求速率。結果,這個錯誤將會被拋出的時間段應該相對較短。 [重點煤礦]

您對讀與寫優化假設證實有作爲:

哪裏這個錯誤被觸發而變化,將取決於門檻, 部分,在請求類型和模式。一般來說,你可以通過獲取更多的獲取 達到較高的rps值,對於大量的密鑰獲取 少量密鑰與大量獲取。 當輸入或輸入大量密鑰時,如果密鑰的字母數字順序與隨機/散列的 順序相同,則可以實現更高的rps。

相關問題