在BigQuery中將大量數據從US數據集遷移到EU數據集的最佳方法是什麼？

Question

我在位於美國的多個數據集託管的單個BigQuery項目中有大約100萬個表中有許多TB。我需要將所有這些數據轉移到在歐盟託管的數據集。我的最佳選擇是什麼？

• 我導出表到谷歌雲存儲和使用加載作業重新導入，但對每個項目每天
• 負荷工作一個10K的限制我做它作爲查詢瓦特/「允許較大的結果「並保存到目標表，但不工作的跨區域

我現在看到的唯一的選擇是重新插入所有使用BQ流API，這將是成本高昂的數據。

在BigQuery中跨多個表格移動大量數據的最佳方式是什麼？

Answer 1

你有兩個選擇：

1. 使用負載工作，並與谷歌雲支持索要配額例外。他們可能臨時授予10萬左右（如果沒有，請聯繫我，tigani@google，我可以這樣做）。
2. 使用聯合查詢作業。也就是說，將數據移動到EU的GCS存儲桶中，然後通過BigQuery查詢重新導入數據與GCS數據源。更多信息here。

我還會研究一下我們是否可以全面提高配額限制。