使用.net進行大數據集的導入/導出數據導入/導出.net

Question

有任何使用.net導入和導出大型數據集（從本例中的數據庫）的經驗。

使用數據庫導出本身是不可能的，因爲有多個數據庫後端支持，我需要這種平臺獨立的導出/導入。

這裏的問題是XmlSerializer或DataContractSerializer類一次全部讀取數據以進行反序列化 - 但由於數據集可能變得非常大，因此這是不可行的。 是否有任何解決方案構建在現有的序列化基礎架構上，但支持迭代讀取文件？

謝謝

Answer 1

看看FileHelpers。我過去曾經使用過該庫，它在幾秒鐘內讀取並驗證了（通過屬於我的導入類成員的屬性）大約25k條記錄。