現在，我正在轉移到Amazon S3上，如何組織100萬個文件？

好吧，我正在從我的共享主機啓動，並將切換到從Linode和Amazon S3的VPS的組合以承載幾百萬個jpeg。現在，我正在轉移到Amazon S3上，如何組織100萬個文件？

我的一大擔憂是保持某種與所有這些圖像的理智。這有什麼希望嗎？我的理解是你只允許100個「桶」和「桶」是S3中唯一的結構類型。

是否將幾百萬個文件放入存儲桶中，您建議不要這麼做？

2012-01-15 Andrew G. Johnson

- [Bucket Restrictions and Limitations]（http://docs.amazonwebservices.com/AmazonS3/latest/dev/BucketRestrictions.html） - [Amazon S3 bucket limit]（http://seocracy.com/2009/ 08/amazon-s3-bucket-limit /） – David 2012-01-15 13:23:05

您可以在Bucket Restrictions and Limitations注意到，它指出：

There is no limit to the number of objects that can be stored in a bucket

我的經驗是，在一個桶一個非常大的數量的對象都不會影響它的鍵獲取單個對象的性能（即是，看起來是不斷複雜的）。

有一個非常大的數字對象也does not affect the speed of listing a given number of objects：

List performance is not substantially affected by the total number of keys in your bucket

不過，我必須警告你，最S3管理工具，我用（如S3Fox）會窒息而死可怕的緩慢死亡時嘗試訪問具有大量對象的存儲桶。似乎很好地處理大量對象的一種工具是S3 Browser（他們有一個免費版本和一個Pro版本，我不以任何方式與他們有關）。

使用「文件夾」或前綴，不會更改任何這些點（獲取並列出給定數量的對象仍然不變，大多數工具仍會自行懸掛並掛起）。

來源

2012-01-15 14:00:09

雅你幾乎總結了我的感受，上傳1000萬個文件都很有趣，遊戲也很好，但是一旦它們出現在那裏，你就會永遠被它們困住，因爲沒有故障和任何列表工具將無法處理這麼大的清單。 – 2012-01-15 15:35:05

那麼一定要看看S3瀏覽器。前綴/文件夾可以提供一些幫助，但不會減少存儲桶中的對象數量。真的，這取決於你實現另一種列表 - 通常記錄在一個數據庫與文件名/ url - 並管理的對象。 – 2012-01-15 19:16:45

亞這就是我要做的我只是討厭這個想法，如果我的代碼中有一個錯誤，我最終不得不爲此付出代價 - 從字面上看。 – 2012-01-15 23:10:59

現在，我正在轉移到Amazon S3上，如何組織100萬個文件？

回答

相關問題