SSIS轉換組件：大規模數據存儲

Question

我正在開發一個SSIS轉換組件，它需要存儲傳入數據流的內容，然後在稍後的時間點輸出數據。這可能是包含許多字段（任何數據類型）的大量記錄。

例如，如果您正在開發「排序」組件，則在輸入所有記錄之前無法輸出單個記錄時，將需要此類存儲。

我的問題是 - 什麼是存儲此臨時數據的建議做法？我見過的微軟和Codeplex的例子有些微不足道，因爲他們使用內存結構。我想避免這種情況，因爲在處理大型數據集時這似乎是一個非常糟糕的主意。

SSIS庫中是否存在一個機制來執行此操作？ [好吧，它看起來像沒有]

我正在考慮幾個選擇：在磁盤上

• Store中的數據流中， 保持記錄的偏移到存儲器中的該 流。在輸出 階段，我將使用這些偏移量來定位 所需的記錄。
• 將 數據存儲在用戶選擇的ADO或OLEDB數據源 中。
• 其他建議？

Answer 1

否 - 在API中沒有第三方可訪問的「緩衝」機制。您自己負責，包括分頁到磁盤或您選擇的任何機制，以避免將所有行存儲在內存中。