將數據從第三方數據庫轉換爲本地數據庫的最佳方式

我繼承了一個數據庫，該數據庫將數據從Oracle數據庫提取到SQL Sever 2012中的臨時表中。然後數據經過3或4個不同的存儲過程，每個存儲過程數百行將數據轉換爲最終生產表格。將數據從第三方數據庫轉換爲本地數據庫的最佳方式

雖然這似乎工作，但似乎有點低效。我更新ETL方面的東西，我想知道是否有更好的解決方案。

在SSIS中使用這些相同的查詢會更有效嗎？在SSIS中使用XML/XSLT會比這更有效嗎？

這些解決方案是否真的提供了足夠的元數據，以瞭解發生什麼情況以及何時發生錯誤？

像BizTalk（我沒有經驗）是一個更好的四周解決方案？

我認識到這可能是一個非常有爭議的話題。我的主要目標是提高變換的速度，保持甚至提高變換的準確性，並增加變換的記錄，因此如果發生錯誤，更容易找到發生的情況。

我真的很感謝任何正確的方向的建議或指導！

來源

2017-06-06 Retnuh

您的陳述*我認識到這可能是一個非常有爭議的話題*顯示得很清楚，SO不是正確的平臺......顯示示例數據，一個真正的*問題*，我們將幫助您解決這個問題！ – Shnugo

當你必須處理大量的數據加載和轉換時，SSIS是最好的選擇。但決定選擇何種解決方案的因素很多，例如 1.數據量。 2.這個過程運行的頻率。 3.變換的複雜性。 4.在效率和響應能力之間進行折衷等。

BizTalk的核心是一個消息代理，並被僱用到integrate and manage automated business processes by exchanging business documents！它不可替代ETL

您可能還想嘗試調整現有流程，尋找瓶頸和優化任何步驟的範圍。

來源

2017-06-07 00:46:06

謝謝你的建議！這個過程目前開始時拉動了2000萬條記錄，除草記錄直到下降到約70,000條。 2.現在該流程每晚都會運行。 3.我認爲這個轉換非常複雜，因爲它最終大約有5000行SQL。 2000萬行的原始拉動是在SSIS中完成的。（提取）然而，變換都是在存儲過程中完成的。我想我試圖瞭解將邏輯從存儲過程移動到xml/xslt是否會提高性能，或者如果ssis中有更好的解決方案？思考？再次感謝！！！ – Retnuh

將數據從第三方數據庫轉換爲本地數據庫的最佳方式

回答

相關問題