CDC和ETL幫助/建議

Question

以下是背景。

我們有幾個不同的客戶，每個客戶都有不同的後端源數據庫。我們希望回到實時更改後端數據庫，然後將數據轉換爲目標數據庫中的目標模式。之後，向其他應用程序廣播一條消息，提醒更改。

爲此，我們需要CDC軟件進行變更檢測，然後使用一個好的ETL工具將數據轉換並加載到目標數據庫中。

到目前爲止，我們已經看過IBM的CDC。研究仍處於初期階段，但我只想讓其他人承擔這一責任。你推薦什麼程序？我們是否正在以這種正確的方式進行......意思是CDC軟件矯枉過正？

Answer 1

大多數數據庫都有某種內置的CDC機制（Oracle肯定會這樣做）。我會考慮應用發佈/訂閱模式，並使每個數據庫成爲發佈者，並讓目標訂閱所有更改。其他應用程序也可以訂閱進一步的通知。 NServiceBus是這種通信的一個很好的選擇。如果你不想使用本地數據庫CDC機制，那麼你可以做一些簡單的事情，並建立一些檢測每個數據庫供應商的變化（觸發器，檢查重做日誌或其他）。