從ETL轉到ELT？

Question

我想知道組織是否有可能將其數據集成過程從ETL更改爲ELT以減少加載時間？如果DWH基礎設施不匹配怎麼辦？

Answer 1

我想說這取決於您的目標DWH平臺及其性能以及執行內部轉換的能力。過去我曾經用Teradata DWH做過這件事，我們決定讓Teradata系統完成繁重的工作，因爲我們使用的工具無法執行轉換，因此我們可以編寫效率更高的SQL。

另外，您是否使用ETL工具？它有優化潛力嗎？

Answer 2

我們已經實施了一個類似的策略，使用CDC作爲數據捕獲工具，然後使用SSIS（實際上是本地版本）通過作業傳輸數據。 在我們的案例中，SSIS部分將數據簡單地轉儲到暫存數據庫中，定期從主客戶端生產數據服務器（資源分離）轉移，然後暫存數據庫中的存儲過程接管完成有點複雜的轉換操作。通過這種方式，我們可以輸出到多個目標，因爲根據來源，我們有DW和DM目標來提供數據。這既考慮到了靈活性，又能從提取方面消除繁重的工作，同時還可以更容易地進行更改。

Answer 3

在ETL and ELT之間切換可能取決於許多因素：業務需求，使用的數據倉庫，正在使用的ETL/ELT工具以及可用的數據源，數據源和支持/管理員工能力。由於ELT還在成熟，所以沒有足夠的工具可以完成這項工作。如果你的企業能夠承擔更多承擔轉型工作的可能性，或者如果你很幸運找到一款能夠滿足你需要的工具，那麼ELT是一個合理的開關。

根據數據的大小和結構，加載時間可能會減少。但是，基於ETL的數據倉庫可能不會被構造爲支持ELT。而且因爲ELT在查詢時進行了轉換，所以如果數據加載到未針對查詢優化的模式結構中，那可能是您的瓶頸。結構錯誤的儲存庫可能會產生比切換到ELT解決方案更多的問題。

所以要回答你最後的問題：這一切都取決於數據倉庫基礎架構和模式結構不匹配。您需要處理能力來處理具有轉換的臨時查詢。你需要一個支持基本上加載所有數據的DWH結構 - 並且查詢友好。