降低INSERT語句的時間與大量數據的時候

Question

我讀到使用SqlBulkCopy和方式，它可以減少使用時間量插入大量行，當我的情況是：我有一個Excel文件，希望我把它轉換成一個dataTable然後我發送這個dataTable到一個存儲過程（希望我不能更改它的代碼），將數據表中的所有行插入到數據庫中的sql表中

問題是我有10 000 50 000行插入是否有任何解決方法來減少存儲過程所花費的時間？

Answer 1

要做到這一點是使用SqlBulkCopy的將數據添加到一個臨時表中，然後喂這些數據到存儲過程的最好方法。你需要編寫一些SQL代碼來完成處理，但這樣做的性能好處應該是值得的。

如果您創建一個新的存儲過程，那麼你必須運行所有這些代碼的數據庫引擎中，所以你不會被來回切換應用程序和數據庫引擎之間的額外好處。

一些代碼：

var importData = new DataSet(); 
    xmlData.Position = 0; 
    importData.ReadXml(xmlData); 

    using (var connection = new SqlConnection(myConnectionString)) 
    { 
     connection.Open(); 
     using (var trans = connection.BeginTransaction()) 
     { 
     using (var sbc = new SqlBulkCopy(connection, SqlBulkCopyOptions.Default, trans) { DestinationTableName = myTableName }) 
     { 
      foreach (DataColumn col in importData.Tables[0].Columns) 
      { 
      sbc.ColumnMappings.Add(col.ColumnName, col.ColumnName); 
      } 

      sbc.WriteToServer(importData.Tables[0]); //table 0 is the main table in this dataset 

      // Now lets call the stored proc. 
      var cmd = new SqlCommand("ProcessDataImport", connection) 
       { 
       CommandType = CommandType.StoredProcedure 
       }; 
      cmd.CommandTimeout = 1200; 
      cmd.ExecuteNonQuery(); 

      trans.Commit(); 
     } 
     connection.Close(); 
     return null; 
     } 
    } 

哪裏XMLDATA與XML數據符合批量導入myTableName包含要導入到表中的數據流。請記住，在進行批量複製時，列名必須匹配100％。案例也很重要。

的PROC會是這個樣子：

CREATE PROCEDURE [ProcessDataImport] 
AS 
BEGIN 
    DECLARE @IMPORTCOL INT 

    WHILE EXISTS (SELECT X FROM TEMPTABLE) 
    BEGIN 
    SELECT @IMPORTCOL = (SELECT TOP 1 COLUMN1 FROM TEMPTABLE) 
    EXEC DOTHEIMPORT @IMPORTCOL 
    DELETE FROM TEMPTABLE WHERE COLUMN1 = @IMPORTCOL 
    END 
END