etl

0熱度

2回答

我有一些主要工作（trunjob），它調用另一個trunjob，它裏面有10個ETL子作業。當主要作業執行時，在日誌（stdout）中，我只能看到其中包含「tlogrow」組件的子作業輸出，我沒有看到任何其他信息，例如哪個作業已啓動，哪個作業正在運行，哪項工作已經完成。這在調試時非常有用，而且在大多數其他ETL工具中都可用。例 < timestamp>: starting job <job na

0熱度

1回答

如何在Talend中爲作業而不是單個組件創建測試用例

是否可以爲特定作業創建測試用例而不是其中的某個組件？當您想要爲作業級別但組件級別創建一些自動化測試時，這有時很有用。現在看來，我們只能爲作業的一個組件創建測試用例，而當我嘗試創建標準作業並將其用作測試用例時，我不知道如何將它集成到CI/CD自動化測試過程中因爲它不能被Talend工具鏈識別爲測試。任何關於如何實施職位等級測試的建議？謝謝！

1熱度

2回答

如何在運行時創建並啓動彈簧批處理作業

我們有要求將數據從1個數據庫移動到另一個數據庫並探索相同的彈簧批處理。我們的應用程序的用戶選擇源和目標數據源以及需要移動數據的表的列表。需要幫助的以下內容：必要建立作業的信息都可以從我們的Web應用程序運行時 - 包括數據源的詳細信息和表名的列表。我們希望通過將這些詳細信息發送給作業生成器模塊並使用JobLauncher啓動它來創建新作業。我們如何編寫這個作業生成器模塊？我們可能有多個用戶並

0熱度

1回答

Oracle Data Integrator（ODI）錯誤處理

ODI中是否存在錯誤處理機制？我想處理的情況下，ODI可以將不良數據加載到錯誤表中，因爲它無法執行轉換源數據並插入到目標表中。即使傳入數據格式中有任何更改，該進程也不會停止。

0熱度

1回答

MongoDB MERGE等效 - 批量處理從SQL插入/更新到現有文檔中

我試圖設計SQL和MongoDB之間的ETL管道。 SQL服務器充當事務數據庫。來自SQL的新/更新數據移至MongoDB，以提供對軟件更快的驗證。在MongoDB中，有沒有類似於SQL中的MERGE操作？我還沒有找到一個基於新加載的主鍵相關文檔批量插入/更新數千個mongoDB文檔的例子。 MongoDB的數據的一個例子將類似於所述與DBID是在SQL主鍵以下： { _id: 1,

1熱度

1回答

（DECIMAL）轉換失敗，因爲數據值溢出指定的類型

一切正常運行，只是在OLE DB目標錯誤，錯誤表示其轉換失敗，我也嘗試轉換ProjectedROI但轉換失敗。所以我檢查源的SqlCommand的輸出是正確然後我嘗試看到檢查輸出或使救援人員到場的源的數據，我看到輸出的格式不同與目的地列ProjectedROI這是十進制（2,2）下面是錯誤消息： [Insert New Record to Fact_Sales [162]] Error: SS

1熱度

3回答

是否需要在目標機器上安裝MS excel軟件，同時將數據從SSIS導出到excel

在我的開發機器中，我安裝了MS excel。我可以通過SSIS（Visual Studio）將數據從數據庫導出到數據庫中。但是當我將其部署到未安裝MS excel的質量保證環境時，該包失敗，出現以下錯誤。如果真的需要在目標機器上安裝MS excel軟件，同時通過SSIS將數據從數據庫導出到excel，請幫助我。這是我正在使用的查詢在excel工作表中創建excel和選項卡。創建excel文件並

0熱度

1回答

使用Spark在EMR上使用Spark進行ETL的S3的最佳文件格式

我們計劃使用Spark來處理坐在S3上的源數據的ETL處理。 ETL處理的數據量不到1億。什麼是在這種情況下S3中存儲數據的最佳格式，即最佳壓縮和文件格式（文本，序列，拼花等）

0熱度

1回答

從源將文件移動到相應的存檔位置在SSIS

我有2個文件夾，一個是源文件夾，另一個是存檔文件夾，每個文件夾包含子文件夾。每個子文件夾都包含excel文件，因此如何將excel文件從源文件移動到相應的歸檔文件夾？

0熱度

2回答

Orientdb將CSV文件導入到文檔模型

我想使用ETL將文件導入到Orientdb中的文件模型中csv文件我不知道這是否作爲新手正確，而不是文檔模型上的大量文檔，但我試過是： { "config": { "log": "debug" }, "begin": [], "source": { "file": { "path": "C:/Users/M/Desktop/