MYSQL更改數據捕獲（CDC） - Azure服務（Azure數據工廠）

Question

我想對MYSQL數據庫的數據表執行ETL操作並將數據存儲在azure數據倉庫中。我沒有更新日期列以標識期間的修改記錄。我如何才能知道哪條記錄被修改。 MYSQL數據庫是否支持CDC？

使用Azure服務（Azure數據工廠）可以讀取MYSQL二進制日誌或二進制日誌？

Answer 1

如果你可以放在一起使用任何函數和連接都可以返回你想要的單個語句查詢，那麼你可以把它放到ADF的sqlReaderQuery部分。

否則，你可能能夠使用存儲過程的活動（抱歉不那麼熟悉的MySQL，因爲我ADF）

Answer 2

你有任何列這是遞增的整數？如果是這樣，您仍然可以使用查找活動+複製活動+存儲過程活動來獲取增量負載。更多細節如下：https://docs.microsoft.com/en-us/azure/data-factory/tutorial-incremental-copy-powershell

ADF還沒有內置的CDC支持。您可以通過ADF中的自定義活動與您的代碼一起執行此操作。

Answer 3

在MySQL中，您可以選擇添加時間戳列，該列在默認情況下更新rowlevel上的更新。 CDC不可用，但是當您可以看到差異時，您可以將MySQL上的MAX（已更新）與（> =）您自己的MAX（ETLDate）進行比較，以獲取所有已修改的記錄。