谷歌雲平臺架構

Question

一個簡單的問題：

是通過谷歌查詢大存儲處理，在谷歌雲存儲，並只用於分割目的吉貝數據？或者Google Big Query是否擁有自己的存儲機制。

我在學習架構，我看到箭頭互相指向，但它沒有說GBQ的架構在哪裏？

謝謝。

Answer 1

從Bigquery under the hood：

巨像 - 分佈式存儲

的BigQuery依靠巨人，谷歌最新一代的分佈式 文件系統。每個Google數據中心都有自己的Colossus羣集，並且每個Colossus羣集都有足夠的磁盤，以便每次爲每個BigQuery用戶提供數千個專用磁盤。 Colossus還處理 複製，恢復（當磁盤崩潰時）和分佈式管理 （因此沒有單點故障）。 Colossus足夠快到允許BigQuery提供與許多內存中的 數據庫類似的性能，但利用了更便宜但高度並行化的，可伸縮，耐用和高性能的基礎架構。

BigQuery中利用了ColumnIO柱狀存儲格式和 壓縮算法來以最佳方式 在巨人數據存儲用於讀取大量結構化data.Colossus的允許 大量查詢用戶擴展到幾十PB的在存儲無縫， 而無需支付附加更昂貴的計算資源的代價 - 大多數傳統數據庫都是這種情況。

關於ColumnIO的部分已過時--BigQuery現在使用Capacitor format - 但其餘部分仍然相關。