使用pentaho數據集成加載事實表 - 減少ktr的運行時間

Question

我使用pentaho DI將數據插入事實表。但是，我所填寫的表格中包含10000條記錄，並且每天都在增加。

在我的填充表中包含10,000條記錄，並添加了新的200條記錄，然後我需要運行ktr，如果我正在運行ktr文件，那麼它會再次截斷事實表中的所有10,000條數據並開始插入新的10,200條記錄。

爲了避免這種情況我未選中表輸出步驟截斷選項，也取得了一個關鍵的事實表中的獨特和檢查忽略輸入錯誤選項。現在它工作正常，它只能插入200條記錄，但它採用相同的執行時間。

我試圖與流查找步驟也在KTR，但在我的執行時間沒有變化。

請任何人都可以幫我解決這個問題。

在此先感謝。

Answer 1

如果您需要捕獲所有插入，更新和刪除操作時，Merge Rows Diff步驟，接着是Synchronize after Merge一步將做到這一點，通常會做的非常快。