從bigquery轉換爲postgresql的數據

Question

我在google bigquery中介紹了3GB 4-5表，我想將這些表導出到Postgres。閱讀文檔，我發現我必須執行以下步驟。

1. 創建一個工作，將數據提取到谷歌存儲桶中的CSV。
2. 從谷歌存儲到本地存儲。
3. 解析所有CSV數據庫

所以在上面的步驟是沒有任何有效的方式來做到這一切。我知道第1步和第2步不可能跳過任何效率的機會，但在第3步從網上閱讀時，我發現這需要2-3小時才能完成。

任何人都可以給我建議一種有效的方式來做到這一點

Answer 1

打個比方項目，看看你的時間，如果你能接受那個時代還爲時過早優化。如果您在SSD上運行1Gbit Internet訪問和服務器，我會在大約3-5分鐘內看到所有這一切。