MySQL to Google Big Query

Question

我有幾個基於Django（python）的後端web應用程序，我想開始以自動方式將數據傳輸到Google Big Query中。後端的關係數據庫是MySQL，這些應用程序不是面向公衆的，而不是Google App Engine中的。

我們已經設置了Google Apps for Business以及Google Big Data項目。據說，我可以手動將表格轉儲爲CSV並導入Big Query，但是有什麼最佳實踐可以將這種數據自動傳輸到Google？我傾注了文檔，並沒有真正看到關於這個問題的任何明確的文字。

任何意見，將不勝感激。

感謝您閱讀

Answer 1

最近WePay開始對他們如何使用BigQuery的運行他們分析了一系列的文章。他們的第二條強調了他們是如何使用Apache的氣流數據從MySQL遷移到BigQuery的：當他們提到「我們只有一個配置驅動的ETL DAG文件

• https://wecode.wepay.com/posts/airflow-wepay

它動態生成過200個DAG「，」最重要的部分是選擇塊，它定義了我們從MySQL獲取哪些列並加載到BigQuery中「。

有關更多詳細信息，請參閱文章。