通用ETL原則 - 來自未知數目表的ETL？

-1

AFAIK，ETL整合來自固定數量來源/表格的數據。考慮到這些表格可能具有不同類型（客戶，運輸，員工，會計等），ETL是否有可能整合未來可能添加的未知數量的表中的數據？通用ETL原則 - 來自未知數目表的ETL？

編輯 -

設A，B，C是表。我們可以有以下ETL場景 - A + B + C = 1行或A + B + C = 3行

我有第一個。稍後，我們可以添加表D，E，F，G ...等，這些表格可能在它們所包含的數據方面各不相同。

2014-01-14 Steam

太寬泛了 - 您是否在問具體的ETL工具？ –

@丹斯利 - 它的一般原則。但是，爲了縮小範圍，我會說SSIS。 – Steam

我不知道是否有可能，但通常爲每個數據流或表格提取自定義轉換過程。我認爲「未知數量的表」的想法沒有意義，因爲你必須知道它們的清潔和轉換數據。 – carexcer

定義轉換沒有辦法。

無論如何，在一些自定義數據庫中的預定義轉換與SSIS中的預定義轉換沒有效率。優點是SSIS平臺已經建成！

您需要定義某些點的轉換，並且只有在看到源，目標和業務規則之後才能評估這些轉換。

您可能會對複製感到困惑。在這種情況下，沒有轉換。您只需通過ETL複製相同的表格。例如，如果表D，E，F，G簡單地需要在沒有轉換的情況下被相同地複製，那麼對於大多數複製平臺來說，相對簡單地添加表而不需要進行任何轉換。

BIML是一種自動生成SSIS包的方法。也許你應該對此做一些研究。

2014-01-15 00:28:27

回答