谷歌雲存儲小文件的成本效益？

Question

我有很多小的非結構化json文件（每個小於1K），我想以某種方式存儲在Google雲存儲上（使用流式處理）。我寧願避免將它們放入zip文件（我認爲），因爲我正在考慮使用Apache Drill對它們執行查詢。將多個json文檔合併在一起，而不是一個接一個地存儲它會更具成本效益嗎？ （我認爲，批量編寫文件將是一件好事，無論它們是合併還是單獨存儲）

Answer 1

好吧......也許。這取決於你的使用模式。

GCS沒有按對象收費。相反，它每月存儲每千兆字節的費用。打破文件不會影響到這一點。

但是，GCS也收取每手術費。在撰寫本文時，每10,000次下載將花費你一分錢，並且每上傳10,000次將花費你一毛錢。如果你只有幾千個文件或者一次只能訪問幾個文件，這可能沒有太大的區別，但是如果你需要經常下載所有的文件，或者你需要經常替換它們，每天要做數百萬甚至數十億次單獨的上傳，突然使用一些大文件可以爲您節省大量資金。

如果你能估計有多少下載和上傳你的每個情景下做，谷歌提供了一個計算器，讓你知道它的成本是什麼：https://cloud.google.com/products/calculator/