將Amazon RDS與Google BigQuery同步

Question

人們，我工作的公司在AWS（Amazon RDS）上有一些MySQL數據庫。我們正在用BigQuery做POC，現在我正在研究的是如何將基礎複製到BigQuery（現有的寄存器和未來的新的寄存器）。我的疑惑是：

• 如何將MySQL表和行復制到BigQuery。有沒有什麼工具可以做到這一點（我正在閱讀亞馬遜數據庫遷移服務）？我應該複製到Google Cloud SQL並輸出到BigQuery嗎？
• 如何複製未來的寄存器？是否可以在MySQL內部創建一個作業，以便在預定義的編號之後發送新的寄存器？例如，在插入1,000個新行（或時間已過）後，某些事件會「觸發」，並且新寄存器將複製到Cloud SQL/BigQuery？

我最初的想法是轉儲原始基礎，將其加載到另一個，並使用腳本來聆聽新寄存器並將它們發送到新基地。

我說得對嗎？這是可以理解的嗎？

Answer 1

您將需要使用其中一個與mySQL和BigQuery集成的ETL工具來執行數據的初始傳輸並將後續更改複製到BigQuery。看看可用工具列表[1]

您還可以通過開發一個過程來實現自己的工具，該過程將從mySQL中提取數據到CSV文件，然後使用數據導入將該文件加載到BigQuery中[2 ]

[1] https://cloud.google.com/bigquery/third-party-tools

[2] https://cloud.google.com/bigquery/loading-data-into-bigquery

Answer 2

除了什麼瓦迪姆說，你可以嘗試：

• 的mysqldump到CSV文件到S3（我相信RDS允許）
• 運行「的gsutil」谷歌雲存儲工具將數據從S3複製到GCS
• 運行「BQ負荷FILE.CSV」將文件加載至BigQuery

我很想聽聽你的經驗，所以請隨時在私下裏給我打電話。