我有一個很大的XML文件,大約800 MB,帶有許多標籤和屬性。我需要從這個文件中提取不同的值,因此我使用了許多SORT
和JOIN
轉換。所有這些工作都很好,不需要太多時間,除了下面圖片中顯示爲紅色橢圓形的最後一個SORT
轉換。這需要永遠。SORT轉換需要永久
如果我使用一個較小的XML
文件,它會走通,並不會花費太多時間。所以我認爲問題與它處理的數據集的大小有關。我想知道你是否知道可以幫助我處理這種情況的任何方式。任何需要更改的屬性以改進此特定情況的性能。我正在使用Visual Studio 2015.謝謝!
您是否考慮編寫SQL查詢並使用Exec SQL步驟更新狀態值,而不是執行查找和合並?此外,所有的來源XML?如果是這樣,你可能想要在某個時候轉換成真正的表格。這將會提高性能。 –
@JacobH請糾正我,如果我沒有得到你的建議,但我不是「更新」,我沒有「查找」。我只是查詢一個狀態表的小型表,根據狀態ID加入狀態名稱。我看不到我如何在這裏使用Exec SQL任務。 – TheEsnSiavashi
如果你不查找數據,爲什麼你有一個叫做「LKP」的步驟? :)我的問題代表。除了您從各種數據源進行大量合併和排序之外,您還沒有給我們提供任何信息,其中一個比其他數據源慢。 –