多線程SQL select語句

Question

我是一個多線程新手和一個SQL新手，所以請原諒任何菜鳥的錯誤。

我想異步執行很多SQL查詢。查詢都是來自同一個數據庫中同一個表的select語句。我可以同步運行它們，一切正常，但測試一個小子集導致我相信同步運行所有查詢將花費大約150個小時，這太長了。因此，我試圖找出如何並行運行它們。

我試圖在run a method multiple times simultaneously in c#的答案後對代碼建模，但是我的代碼沒有正確執行（這是錯誤的，儘管我不知道具體如何，代碼只是說錯誤發生）。

這裏是我有什麼（什麼我實際上做了一個更小和更簡單的版本）：

class Program 
{ 
    static void Main(string[] args) 
    { 
     List<string> EmployeeIDs = File.ReadAllLines(/* Filepath */); 
     List<Tuple<string, string>> NamesByID = new List<Tuple<string, string>>(); 

     //What I do not want to do (because it takes too long) ... 
     using (SqlConnection conn = new SqlConnection(/* connection string */)) 
     { 
      foreach (string id in EmployeeIDs) 
      { 
       using (SqlCommand cmd = new SqlCommand("SELECT FirstName FROM Employees WITH (NOLOCK) WHERE EmployeeID = " + id, conn)) 
       { 
        try 
        { 
         conn.Open(); 
         NamesByID.Add(new Tuple<string, string> (id, cmd.ExecuteScalar().ToString())); 
        } 
        finally 
        { 
         conn.Close(); 
        } 
       } 
      } 
     } 


     //What I do want to do (but it errors) ... 
     var tasks = EmployeeIDs.Select(id => Task<Tuple<string, string>>.Factory.StartNew(() => RunQuery(id))).ToArray(); 
     Task.WaitAll(tasks); 
     NamesByID = tasks.Select(task => task.Result).ToList(); 
    } 

    private static Tuple<string, string> RunQuery(string id) 
    { 
     using (SqlConnection conn = new SqlConnection(/* connection string */)) 
     { 
      using (SqlCommand cmd = new SqlCommand("SELECT FirstName FROM Employees WITH (NOLOCK) WHERE EmployeeID = " + id, conn)) 
      { 
       try 
       { 
        conn.Open(); 
        return new Tuple<string, string> (id, cmd.ExecuteScalar().ToString()); 
       } 
       finally 
       { 
        conn.Close(); 
       } 
      } 
     } 
    } 
} 

注：我不在乎這究竟是如何多線程（任務，parallel.foreach，BackgroundWorker的等）。這將被用來精確地運行一次〜30,000次select查詢，所以我只需要它運行一次（我希望〜8小時=一個工作日，但我會拿我能得到的）一次。它不一定非常漂亮。

預先感謝您！

Answer 1

你想做一個查詢來獲得所有的ID /名稱組合，然後把它們放到一個字典（快速訪問）。這將消除運行30,000個查詢的非常緩慢的過程，並降低代碼的複雜性。

我可以讓你更具體的東西，如果你貼實際的SQL查詢（如果你需要，你可以更改列名和表名），但是這應該是接近：

;WITH CompTransCTE AS (
    SELECT CompanyID, MIN(TransactionID) AS TransactionID 
    FROM CompanyTransactions 
    WHERE CompanyID IN (/*Comma seperated list of values*/) 
    GROUP BY CompanyID 
) 
SELECT CT.CompanyID, T.DollarAmount, T.TransactionID 
FROM Transactions AS T 
INNER JOIN CompTransCTE AS CT ON CT.TransactionID = T.TransactionID; 

Answer 2

這是完全錯誤的。你應該建立一個查詢來選擇你需要的所有FirstNames。如果您需要將一堆ID傳遞給服務器，那沒問題，只需使用table valued parameter（又名TVP），昏迷分隔的值列表確實不能很好地擴展。如果查詢正確寫入並且索引表，那應該是相當快的。 100k行桌是一張小桌子。然後

的查詢可能看起來像這樣

SELECT DollarAmount, comp.CompanyID 
FROM Transactions 
JOIN (SELECT MIN(TransactionID) as minTransactionID, CompanyID 
     FROM CompanyTransactions  
     GROUP BY CompanyID 
    ) AS comp 
ON Transactions.TransactionID = comp.minTransactionID 
JOIN @IDList ON id = comp.CompanyID 

您可以使用IN代替JOIN如果TVP的ID不是唯一的。

Btw。你知道NOLOCK是什麼意思嗎？如果您是數據庫的唯一用戶並且使用它單線程或不修改任何數據，那麼您是安全的。除此之外，它意味着你還好有很小的機率：

• 一些記錄可能會丟失在結果
• 有在結果
• 有結果中的行重複記錄，即從來沒有承諾永不被接受爲有效數據
• 如果使用VARCHAR（最大值），你可能會得到一個從未被存儲

Answer 3

沒有在數據庫中創建一個用戶自定義表類型的文本，你可以使用SqlBulkCopy將ID加載到臨時表中，並在查詢中引用該ID。

using System; 
using System.Collections.Generic; 
using System.Data; 
using System.Data.SqlClient; 
using System.Linq; 

namespace ConsoleApp11 
{ 
    class Program 
    { 

     static void Main(string[] args) 
     { 
      //var EmployeeIDs = File.ReadAllLines(""/* Filepath */); 
      var EmployeeIDs = Enumerable.Range(1, 30 * 1000).ToList(); 
      var dt = new DataTable(); 
      dt.Columns.Add("id", typeof(int)); 

      dt.BeginLoadData(); 
      foreach (var id in EmployeeIDs) 
      { 
       var row = dt.NewRow(); 
       row[0] = id; 
       dt.Rows.Add(row); 
      } 
      dt.EndLoadData(); 

      using (SqlConnection conn = new SqlConnection("server=.;database=tempdb;integrated security=true")) 
      { 
       conn.Open(); 

       var cmdCreateTemptable = new SqlCommand("create table #ids(id int primary key)",conn); 
       cmdCreateTemptable.ExecuteNonQuery(); 

       //var cmdCreateEmpable = new SqlCommand("create table Employees(EmployeeId int primary key, FirstName varchar(2000))", conn); 
       //cmdCreateEmpable.ExecuteNonQuery(); 


       var bc = new SqlBulkCopy(conn); 
       bc.DestinationTableName = "#ids"; 
       bc.ColumnMappings.Add("id", "id"); 
       bc.WriteToServer(dt); 

       var names = new List<string>(); 
       var cmd = new SqlCommand("SELECT FirstName, EmployeeId FROM Employees WHERE EmployeeID in (select id from #ids)", conn); 
       using (var rdr = cmd.ExecuteReader()) 
       { 
        var firstName = rdr.GetString(0); 
        var id = rdr.GetInt32(1); 
        names.Add(firstName); 
       } 

       Console.WriteLine("Hit any key to continue"); 
       Console.ReadKey(); 
      } 



     } 


    } 
}