將圖像上傳到S3

Question

我正在研究一個圖像託管網站，並且我有點醃製。我選擇了Amazon S3，因爲它速度很快，而且規模很大，而且隨收隨付的模式。

當我從我的網站上傳圖片時，我需要在服務器上處理它們 - 創建3種不同的尺寸，將數據插入數據庫，然後準備上傳到S3（所有3種尺寸的圖片）。

我目前正在使用plupload進行上傳，現在我把它全部設置爲與我的數據庫一起作爲圖像存儲 - 僅用於測試目的。但我只是意識到 - 這上傳到我的網絡服務器，處理，然後上傳到S3意味着每個圖像的上傳時間翻倍？

有沒有處理這種情況的智能方法？

Answer 1

再次審視您的問題，您似乎關注「每張圖片上傳時間」 - 您是指最終用戶在等待您的網絡應用嗎？您不必等到圖像調整大小並上傳到S3以向上傳用戶返回響應。一旦用戶的上傳完成，您應該排隊作業並立即向用戶返回響應。然後有一個單獨的後臺線程，將作業從隊列中取出，並在後臺進行圖像處理。作業完成後，將其上傳到S3並更新數據庫以反映已調整大小的圖像。你的問題

Answer 2

當然，您將需要更多的時間保存圖像，因爲您實際上會有兩次HTTP傳輸。你可以嘗試與其他操作並行執行上傳，例如：

1. 開始上傳原始/最大圖像S3
2. 在此期間，準備了其他兩個圖像
3. 上傳其他兩個圖像並行

我懷疑上傳原始/最大的圖像不僅僅是生成兩個較小的圖像，所以並行解決方案將工作得很好。即使上傳比生成其他兩張圖片少，上傳並不會佔用很多CPU時間，所以在任何情況下都應該看到改進。

當然它更復雜，特別是如果你考慮錯誤處理。

Answer 3

我們正在做一些類似於S3中處理文件和存儲的事情。主要區別在於我們的網絡服務器和處理服務器位於EC2上，因此它們不會產生任何S3/S3的傳輸成本，並且它們對S3具有非常高的帶寬。是否可以在EC2實例上運行圖像大小調整過程？您可以：

1. 立即接受上傳直接對EC2實例的服務器過程中，對它們進行處理，然後將圖像保存到S3，或直接...

2. 將圖像上傳到S3，以某種方式告訴你的EC2過程圖像到達（SQS隊列也許），然後讓你的服務器進程響應信號，從S3抓取文件，處理圖像，並將調整後的圖像保存回S3。

基本上，我是說，你應該充分利用這一點（從AWS網站S3說明）：

有亞馬遜EC2 和亞馬遜之間移送 數據沒有數據傳輸費用S3在同一地區 或在 亞馬遜EC2弗吉尼亞北部地區 和亞馬遜S3美國標準地區之間傳輸的數據。