SQL Server：Bulk將數據加載到具有多個文件組的分區表中

Question

我試圖加載一系列CSV文件，大小從100MB到20GB（總共大約3TB）。所以，我需要每一次性能提升。我打算使用文件分組和分區作爲一種手段。我進行了一系列測試以查看最佳方法。

首先，我試過各種文件組合;我得到最好的是當我加載到一個文件組上的表;分配給它的多個文件，並且它們都位於一張光盤上。這種組合勝過了我有多個文件組的情況。

下一步自然就要進行分區了。 ODDLY，我檢查的所有分區組合都具有較低的性能。我試着定義各種分區功能/方案和各種文件組合。但是全部顯示更低的加載速度。

我想知道我在這裏錯過了什麼！？

到目前爲止，我設法在3分鐘內加載（使用批量插入）1GB csv文件。任何想法都非常感謝。

Answer 1

爲了獲得最佳數據加載速度，您需要首先了解SQL Server數據加載過程，這意味着瞭解SQL Server如何實現下述優化。

1. 最小日誌記錄。
2. 並行加載。
3. 鎖定優化。

這兩篇文章將詳細解釋如何實現所有上述優化的細節。 Fastest Data Loading using Bulk Load and Minimal Logging和Bulk Loading data into HEAP versus CLUSTERED Table

希望這有助於。