2011-01-19 32 views
1

我需要獲取遠程數據庫中不存在的IEnumerable(對於上下文,這是來自Lucene索引)的GUID集。這些Guids可能有數百萬種。我如何得到兩個大集之間的差異.net

我現在認爲插入IEnumerable到數據庫並做差異將會過於昂貴(插入會錘擊數據庫),但我準備證明是錯誤的!

由於數據量大,將兩個集合讀入內存也是不可行的 - 我們現有的解決方案會執行此操作,並會導致大集合失敗。

我想要一個解決方案,它可以一次對一小部分數據進行操作,這樣我們就可以擁有一個恆定的內存空間。我們有一個關於如何推出我們自己的實現的想法,但它不是微不足道的,所以如果存在的話顯然會使用現有的實現。

如果有人對現有解決方案有任何建議,我會很高興聽到他們的聲音!

+0

您可以在SQL Server上使用批量插入。另外,分別對兩個數據集進行排序,然後使用類似於光標的系統來遍歷它們是不可行的? – 2011-01-19 11:05:21

回答

相關問題