跨多個轉換定義相同的輸出表

Question

我有6個不同的輸入數據集。我想在所有6個數據集上運行ETL，以便將它們全部轉換爲相同的輸出表（相同的列和類型）。

我正在使用Pentaho（勺）來做到這一點。

有沒有一種方法可以定義一個輸出表模式以供Pentaho中的所有這些轉換使用？我使用MySQL作爲我的輸出數據庫。

在此先感謝。

Answer 1

聽起來像您需要選擇值步驟。將其中的一個放在每個數據集路徑的最後一跳上，並使路徑的元數據全部看起來像正好一樣。然後，您可以將每個選擇值步驟的輸出連接到表格輸出。來自每組的所有行將按照不特定的順序混合在一起。

這可能比看起來更具挑戰性。如果任何字段與所有其他數據集中的對應字段不完全相同，則勺子將拋出錯誤。您必須找到某種方式才能使數據集中的所有元數據保持一致。