帶有前綴和分隔符的清單S3存儲桶的性能

Question

根據listing documentation，可以像處理分層存儲那樣處理大量導航數量的鍵。我打算存儲大量的密鑰（比方說幾億），分佈在一個合理大小的「層次結構」中。

使用前綴和分隔符的性能如何？是否需要在S3端完全枚舉鍵，因此是O（n）操作？我不知道密鑰是否存儲在一個大的哈希表中，或者它們是否具有索引數據結構，或者它們是否存儲在樹中或什麼。

我想避免這種情況，我擁有大量的按鍵，導航「層次結構」突然變得困難。

所以，如果我有以下鍵：

• abc/def/ghi/0
• abc/def/ghi/1
• abc/def/ghi/...
• abc/def/ghi/100,000,000,000

不會影響查詢Delimiter='/, Prefix='abc/def'的速度？

Answer 1

只要你沒有在前綴中使用連續的順序（如日期2016-13-08，2016-13-09等），你不應該面臨任何問題。如果您的密鑰是作爲連續序列自動生成的，那麼將隨機生成的哈希鍵添加到鍵（aidk-2016-13-08，ujlk-2016-13-09）。 亞馬遜文檔說：

Amazon S3維護每個AWS區域中對象鍵名的索引。對象鍵以索引中多個分區的UTF-8二進制排序存儲。密鑰名稱表示密鑰存儲在哪個分區。使用序列前綴（例如時間戳或字母順序）可增加Amazon S3針對大量密鑰的特定分區的可能性，從而壓倒I/O容量的分區。如果在密鑰名稱前綴中引入了一些隨機性，則密鑰名稱以及I/O負載將分佈在多個分區中。

http://docs.aws.amazon.com/AmazonS3/latest/dev/request-rate-perf-considerations.html

Answer 2

除了從Request Rate and Performance Considerations文檔桑迪普引用（這並不適用於你的使用情況），AWS還沒有公佈很多關於S3的性能。這可能是私人知識產權。所以我懷疑你會發現很多信息，除非你可以直接從AWS獲得它。

然而，有些事情要記住：

1. 亞馬遜S3是專爲大規模。數以百萬計的公司正在使用S3，在數百萬桶中使用數百萬個密鑰。
2. AWS推廣前綴+分隔符作爲非常有效的用例。
3. AWS在計算機科學中使用的常用數據結構和算法可能在幕後使用，以有效檢索密鑰。一種這樣的數據結構稱爲Trie或前綴樹。

基於以上所有情況，當您檢索密鑰列表時，很有可能比訂購O（n）算法好得多。我認爲您可以安全地爲您的層次結構使用前綴和分隔符。