創建BigQuery項目的備份

Question

我想知道在BigQuery中備份數據的最佳策略是什麼？

到目前爲止，我們使用BigQuery來存儲來自不同來源的許多不同數據集。我們將原始數據（csv文件）存儲在一邊，但從它們重新創建整個事情將是困難且耗時的任務。

有沒有辦法讓項目中的所有數據集/錶快照？

Answer 1

所以這裏的問題大多是有道理的，如果你命名的上下文。

BigQuery是一項託管服務，因此您的數據將被複制，並且您相信Google Cloud始終可以使用它。如果出現故障，BigQuery工程師將處理這種情況，您無法開始回滾或修復或管理其他任何事情。

假設所有數據都以某種方式被清除（大地震+轟炸命中幾個數據中心等）。如果您沒有再次構建源，則數據將丟失。對於您保管的其他數據，這不僅僅是BQ項目也是如此。也許您的首席執行官憑據被黑客用來首先清除所有備份，然後您當前的實例，因此所有公司的數據都將丟失，並且無法將任何數據重建爲正常狀態，因爲您不再有備份。

爲了準備好應對BQ服務關閉的最終災難，或者谷歌正在關閉它的服務或其他更糟糕的情況，您需要備份以重建數據。如果你保留你的原始文件並且能夠重放它們就足夠了。我們通常會在幾年內存儲這些數據，我們可能會考慮將所有其他數據重新分配給不同的提供商，例如：Skynet Data Center等。:)我們可以再次使用它們來重放我們的db狀態。

您可以將export the BigQuery tables和數據發送到Google雲端存儲，您可以隨時隨地從冷藏存儲等任何地方移動到另一端......還可以在您想要恢復時導入5TB的文件。