如何在雲存儲中組織大量對象？

假設每天的傳入速率約爲6000萬個文件，並且我想將它們保留180天。

隨着小時分區，在頂層將有4320（24 * 180）個目錄。每個目錄平均包含約2,500,000個文件。

如果我只需要通過其完整路徑單獨獲取文件，並且我不需要列出目錄的內容，那麼將它們中的所有2500000都保留在同一級別時是否存在任何問題？

或者我應該散列文件名並將它們存儲在多個子目錄中？（比如存儲在傳統文件系統中的典型做法）

對於可以存儲在存儲桶中的對象數量沒有限制，並且將對象分解爲更多的「子目錄」不會產生任何可伸縮性或性能差異。對於Google Cloud Storage服務，所有對象名稱都是平坦的：路徑中的「/」看起來像對象名稱中的任何其他字符。谷歌雲存儲團隊Mike Schwartz

2013-02-16 01:29:06

回答