SSIS數據驗證和清洗

Question

我需要做這樣的

客戶把數據FTP文件夾中（數據可以在這3個格式 - .TXT，.csv或.xls的），SSIS包需要提取數據從數據文件中檢查數據文件的正確格式，如姓氏不爲空，電話爲10位，郵政編碼爲5位，地址不超過20個字符長度等） 檢查數據文件後，如果一切正常，應該在dev中加載文件。數據庫，如果沒有，我需要運行一些清理問題（比如取第一個5位數字作爲zip等）並加載數據，如果某一列丟失，它需要發送電子郵件到客戶端詢問不同的數據文件

直到現在，我通過手動導入文件並運行大量的sql查詢來完成這項任務，這非常耗時。我的經理讓我寫SSIS包來自動完成這個過程

我在SSIS相當新的，能有人給我SSIS包的設計理念（我的意思是使用哪個任務在哪個序列等），所以我可以嘗試和學習 感謝您的幫助

Answer 1

這裏有一些建議：

配置任務發送不良造成的數據錯誤，以一個單獨的文件。這將確定問題行，同時讓好的東西繼續下去。您還可以使用條件拆分來重定向具有空白行等不良數據的行。

派生列轉換可方便地修剪，格式化，切片和切塊數據。

如果給定條件爲真，則使用事件處理程序發送電子郵件。

使用記錄功能。非常有助於整理你在睡覺時側身走動的東西。