2013-08-07 35 views
2

我正在尋找使用SSIS將幾個表組合成單個數據加載表。這些表格是由我編寫的一些軟件構建的,並且是在數據處理階段創建的。每個表格將採用不同的格式並表示不同的加載文件,但所有表格都將包含需要提取,清理並放置在另一個表格中的各種關鍵字段。各種關鍵字段可能沒有靜態名稱(例如,一個表中的'payment'和另一個表中的'pymnt'),因此如果可能的話,需要將其映射到目標表。因爲我沒有使用SSIS很多(我已經在各種開發角色中使用了SQL Server超過10年),我想知道是否有人可以給我任何方向的指針,或者即使SSIS是該工作的正確工具?SSIS - 在ETL期間處理多個表定義

我可以使用2008R2或2012年

我欣賞的問題是有點含糊,但我真的很爲開始我調查的地方。

非常感謝提前

+1

您有多個表中的數據。您需要將這些不同的數據組合到不同的表格中。是A + B + C = 1行還是A + B + C = 3行?換句話說,你是否結合了多個表中的屬性來在新表中定義你的行,或者你是否符合所有表中的行以適應目標表? – billinkc

+0

感謝您的快速回復 - 我需要將多個表中的行合併到一個表中。未來將添加格式不存在的新表格。每個要符合的表代表一個加載文件。新的加載文件將代表新的客戶端。 – bhs

+0

關於這個問題的進一步的更新? – bhs

回答

2

SSIS肯定是這項工作的工具。

你想要做的事聽起來很像我最近完成的事情。我必須將4次不同訪客調查的結果整合到標準數據集中。例如,所有4項調查都有一些類似客人姓名,電子郵件地址,忠誠號碼等數據,然後每個人都有自己獨特的問題和相應的答案。

我們打破了數據轉換成

四個獨立的臨時表來獲取數據的不同的源文件。從使用多個視圖的源表中,我打碎了數據塊以填充整合數據結構。

調查表,幫助確定每個調查。

ID 
Name 
Description 

調查發送了一份表格,其中包含所有調查共有的數據,並標識每次調查發出的數據。

ID 
First Name 
Last Name 
Email 

四有罕見客人信息這不是一個問題

調查明細表然後我們有一個任務表中的所有房子的問題。

ID 
Question 
Description 

然後我們有一個表格,將每個問題與調查聯繫起來。

Quesiton_ID 
Survey_ID 

最後是保存每個問題的訪客響應的鍵值表。

Survey_Sent_ID 
Question_ID 
Answer 

一切都設置這樣,如果一個新的問題被添加到它可以被添加到工作流程中每題5分鐘左右,並部署到生產5分鐘的調查之一。

軟件包在不到一分鐘的時間內以一系列格式翻譯了40多個源文件。

我使用視圖來轉換SQL中的數據,然後SSIS只處理數據從源到目標的更新,更新已更改的數據並插入新數據。

如果您有任何具體問題發佈,我會密切關注,我會盡我所能幫助您。