非常慢的foreach循環

Question

我正在處理現有的應用程序。這個應用程序從一個巨大的文件中讀取數據，然後在進行一些計算後將數據存儲在另一個表中。

但是這樣做的循環（見下文）需要很長時間。由於該文件有時包含1,000個記錄，因此整個過程需要數天。

我可以用其他東西替換這個foreach循環嗎？我嘗試使用Parallel.ForEach，它確實有幫助。我對此很陌生，所以感謝您的幫助。

foreach (record someredord Somereport.r) 
{ 
    try 
    { 
     using (var command = new SqlCommand("[procname]", sqlConn)) 
     { 
      command.CommandTimeout = 0; 
      command.CommandType = CommandType.StoredProcedure; 
      command.Parameters.Add(…); 

      IAsyncResult result = command.BeginExecuteReader(); 
      while (!result.IsCompleted) 
      { 
       System.Threading.Thread.Sleep(10); 
      } 
      command.EndExecuteReader(result); 
     } 
    } 
    catch (Exception e) 
    { 
     … 
    } 
} 

審查應答後，我除去異步並用於編輯爲下面的代碼。但是這並沒有改善性能。

using (command = new SqlCommand("[sp]", sqlConn)) 
{ 
    command.CommandTimeout = 0; 
    command.CommandType = CommandType.StoredProcedure; 
    foreach (record someRecord in someReport.) 
    { 
     command.Parameters.Clear(); 
     command.Parameters.Add(....) 
     command.Prepare();        

     using (dr = command.ExecuteReader()) 
     { 
      while (dr.Read()) 
      { 
       if() 
       { 

       } 
       else if() 
       { 

       } 
      } 
     }        
    }       
} 

Answer 1

而是循環SQL連接的這麼多次，有沒有考慮過從SQL Server中提取出來的整套數據，並通過數據集中處理的數據？

編輯：決定進一步解釋我的意思.. 你可以做以下的，僞代碼如下

1. 使用SELECT *，並從數據庫中獲取的所有信息，並將其存儲到列表或字典。
2. 做你的foreach（在someReport中記錄someRecord）並像往常一樣進行條件匹配。

Answer 2

第1步：溝通在異步的嘗試。它沒有正確實施，而且你仍然阻止。所以只需執行程序並查看是否有幫助。

第2步：將SqlCommand移到循環的外部並在每次迭代中重新使用它。這樣你就不會爲你的循環中的每一件物品產生和銷燬它。

警告：請確保您重置/清除/刪除您不需要的參數從前面的迭代。我們用可選的參數做了這樣的事情，並且從前一次迭代中「流血」，因爲我們沒有清理我們不需要的參數！

Answer 3

你最大的問題是，你遍歷這個：

IAsyncResult result = command.BeginExecuteReader(); 

while (!result.IsCompleted) 
{ 
    System.Threading.Thread.Sleep(10); 
} 

command.EndExecuteReader(result); 

異步模型的整個觀念是調用線程（一個做這個循環）應旋轉了所有的異步在開始使用End方法處理結果之前，使用Begin方法執行任務。如果您在主調用線程中使用Thread.Sleep（）來等待異步操作完成（如同您在這裏），那麼您做錯了，最終發生的是每個命令一次一個正在被呼叫，然後在下一次開始之前等待。

相反，嘗試這樣的事：

public void BeginExecutingCommands(Report someReport) 
{ 
    foreach (record someRecord in someReport.r) 
    { 
     var command = new SqlCommand("[procname]", sqlConn); 

     command.CommandTimeout = 0; 
     command.CommandType = CommandType.StoredProcedure; 
     command.Parameters.Add(…); 

     command.BeginExecuteReader(ReaderExecuted, 
      new object[] { command, someReport, someRecord });     
    } 
} 

void ReaderExecuted(IAsyncResult result) 
{ 
    var state = (object[])result.AsyncState; 
    var command = state[0] as SqlCommand; 
    var someReport = state[1] as Report; 
    var someRecord = state[2] as Record; 

    try 
    { 
     using (SqlDataReader reader = command.EndExecuteReader(result)) 
     { 
      // work with reader, command, someReport and someRecord to do what you need. 
     } 
    } 
    catch (Exception ex) 
    { 
     // handle exceptions that occurred during the async operation here 
    } 
} 

Answer 4

它似乎執行你的命令SQL看跌期權鎖定所需的資源，這就是強制你使用Async方法（我猜測）的原因。

如果數據庫未處於使用狀態，請嘗試對其進行獨佔訪問。即使在那時，由於數據模型的複雜性，也有一些內部事務考慮諮詢數據庫設計人員。

Answer 5

在SQL的另一端寫一個是（一個）磁盤。你很少可以並行寫得更快。事實上，由於索引碎片，並行通常會降低速度。如果您可以在加載之前按主（羣集）鍵對數據進行排序。在大負載甚至禁用其他鍵時，加載數據重建鍵。

不太清楚在異步中做了什麼，但肯定它沒有做你期望的，因爲它正在等待它自己。

try 
{ 
    using (var command = new SqlCommand("[procname]", sqlConn)) 
    { 
     command.CommandTimeout = 0; 
     command.CommandType = CommandType.StoredProcedure; 

     foreach (record someredord Somereport.r) 
     { 
      command.Parameters.Clear() 
      command.Parameters.Add(…); 

      using (var rdr = command.ExecuteReader()) 
      { 
       while (rdr.Read()) 
       { 
        … 
       } 
      } 
     } 
    } 
} 
catch (…) 
{ 
    … 
} 

Answer 6

正如我們在評論中討論的那樣，將這些數據存儲在內存中並使用它可能會有更高效的方法。

所以一個簡單的方法是從Entity Framework開始。實體框架將根據您的數據庫模式自動爲您生成類。然後你可以用import a stored procedure來保存你的SELECT語句。我建議將存儲過程導入EF的原因在於，此方法通常比在LINQ中針對EF執行查詢更有效。

然後運行存儲過程和數據存儲在List這樣的...

var data = db.MyStoredProc().ToList();

然後，你可以做你想做與data什麼。或者，正如我所說，如果你做了很多主鍵的查找然後使用ToDictionary()這樣的事情...

var data = db.MyStoredProc().ToDictionary(k => k.MyPrimaryKey);

無論哪種方式，你將與你的data合作內存在這點。