SSIS 2012增量加載200-300個表

Question

我的項目在2個月前開始，我已經在運行到數據倉庫的每個過程中轉移了超過100個表。

我很快可能會達到200-300張桌子，不相信我目前的發展方式會擴展。我仍然有3周的版本（產品開發衝刺），表格仍然在改變它們的結構（數據類型，列名，新列等），這讓我很頭痛，所以在開始時我忽略了它周。

我怎麼忽略它？

1. 截斷的所有表我帶他們到ODS（操作數據存儲）/ MRR層
2. 把所有的數據從源系統充分到MRR層
3. 創建唯一的尺寸「增量之前「表（每週仍會更改新列和更改的數據類型）
4. 動態創建和填充登臺表和倉庫表。

現在我的模式已經開始形成，所以我必須採取增量負載的護理

1. 這似乎很容易，因爲我有錄入的每條記錄，但我也有缺失我的源系統，我該如何解決這個問題？
2. 我已經考慮過CDC，但是這樣做會很耗時間，因爲我必須把它放在桌子上
3. 對於以100-200表格開頭的人的任何解決方案？

Answer 1

我遵循的風格類似於你的「忽略」設計儘可能長。全面更新可以讓您的設計更加靈活，每分鐘可以達到100萬行。

當這最終用完了腿，並且在源系統中有刪除時，我按照與數據專家商定的日期範圍（例如3個月）刪除所有數據。您可能必須將該刪除分成塊，例如日復一日。我也嘗試完全刷新這些數據，例如每個週末（數據專家經常被誤導）。