2015-06-25 103 views
-1

我擁有一個2.9億個源數據集,每天下載1200萬條記錄,其中包含前幾天下載的數據。我無法將每日記錄插入到源中,並排除已有的記錄。一些新的記錄可能不是前一天他們可能會返回幾天,所以日期限制不起作用。請幫忙。使用SSIS插入記錄而不插入預先存在的記錄

+0

請查看http://stackoverflow.com/help/how-to-ask並嘗試定義具體問題以及您已嘗試解決的問題。 –

+0

你需要使用什麼鑰匙?你有能力添加更多? –

回答

1

我剛剛有這個完全相同的問題基本上在你的SSIS的數據流你需要添加一個查找。讓它與基於PK插入新數據的數據匹配。那麼你可以從這裏分離數據,選擇重定向行到不匹配輸出。這將使綠色箭頭包含所有不存在的數據。使用關鍵字段,並與沒有匹配輸出,執行插入

0

Lookup組件(你也可以用比賽輸出做一個更新;雖然290million行是要採取一些時間)..