創建ETL系統（數據導入和轉換）

Question

我的任務是編寫一個用於將數據導入客戶端系統的模塊。 我想打破過程分爲4個部分：

連接到數據源（SQL，Excel和Access，CSV，ActiveDirectory中，SharePoint和甲骨文） - DONE
2.獲得可用來源的表/數據組 - 完成
        i。獲取所選表格/數據組的可用字段 - 完成
        ii。從所選字段獲取所有數據 - DONE
變換數據，以用戶的需求
4.寫轉換數據的MSSQL目標

我想計劃如何處理複雜的數據轉換如：
從表tblA獲取列A，內部從表tblB連接到列FA，並使用中間的分號連接這兩個列。

OR

從表TBLC獲取關於源列C，其中柱tblC.D不在表tblG G列目標數據庫上。

我的擔心不是視覺效果，而是這個操作的代碼表示。

我不是要求示例代碼，而是要求一些有創意的想法。

數據轉換不會使用自由文本，而是拖放表示動作的對象。

我有點迷路，需要一些新鮮的輸入。

Answer 1

看到我的回答：Manipulate values in a datatable?

Answer 2

也許你可以從這個開源項目中獲得一些想法：Rhino ETL。