如何實時將Mysql同步到BigQuery中？

Question

目前我有一些腳本，它首先刪除表並將表從MySQL上傳到Bigquery。很多時候它失敗了。另外它每天只運行一次。我正在尋找一些可擴展的實時解決方案。您的幫助將非常感激:)

Answer 1

閱讀本系列從Wepay，他們詳細介紹瞭如何他們同步他們的MySQL數據庫至BigQuery的帖子，利用氣流：

• https://wecode.wepay.com/posts/wepays-data-warehouse-bigquery-airflow
• https://wecode.wepay.com/posts/airflow-wepay
• （第三一個是關於大量查詢）

作爲總結（引用）：

• 設置認證，連接，DAG。
• 定義從MySQL中提取哪些列並加載到BigQuery中。
• 選擇如何加載數據：增量或完全。
• 重複刪除。