在EC2和Amazon S3之間傳輸大量小文件

Question

我正在構建瀏覽器遊戲，當玩家執行某些關鍵操作時，我的許多小文件需要在我的EC2實例和S3之間傳輸。

儘管傳輸單個大文件的速度相當快，但傳輸多個小文件的速度非常慢。我正在使用亞馬遜的PHP SDK。

有沒有辦法在S3中克服這個弱點？謝謝。

Answer 1

它看起來像結合下面的兩個解決方案是要走的路。

http://improve.dk/archive/2011/11/07/pushing-the-limits-of-amazon-s3-upload-performance.aspx http://gearman.org/

Answer 2

如果此傳輸必須從EC2實例創建到S3，則可以嘗試使用s3fuse，它將基本上將s3驅動器安裝到EC2實例的存儲卷。

Answer 3

S3的性能並不穩定，有時可能會很慢。如果您需要共享對象的實時性能，我會查看AWS memcached服務，儘管我沒有使用它。