什麼是從DbDataReader讀取數據的最快方法？

Question

在下面的代碼，命令是已經成立了的DbCommand：

using(var dataReader = command.ExecuteReader() /*The actual execution of the query takes relatively little time.*/) { 
       while(dataReader.Read()) { 
        // These are what take all of the time. Replacing them all with reader.GetValues(myArray) has no impact. 
        val0 = dataReader.GetValue(0); 
        val1 = dataReader.GetValue(1); 
        val2 = dataReader.GetValue(2); 
       } 
      } 

大部分的時間，我目前是花做的GetValue調用工作查詢。是否每次GetValue調用都要往返數據庫？看起來好像是這樣，而且這看起來效率很低。正如代碼所指出的那樣，嘗試使用GetValues（）一次性完成它並沒有什麼不同。有一種方法可以一次獲得整行數據嗎？更好的是，有沒有辦法一次性得到整個結果集？

謝謝。

Answer 1

using (connection) 
    { 
     SqlCommand command = new SqlCommand(
      "SELECT CategoryID, CategoryName FROM dbo.Categories;" + 
      "SELECT EmployeeID, LastName FROM dbo.Employees", 
      connection); 
     connection.Open(); 

     SqlDataReader reader = command.ExecuteReader(); 

     while (reader.HasRows) 
     { 
      Console.WriteLine("\t{0}\t{1}", reader.GetName(0), 
       reader.GetName(1)); 

      while (reader.Read()) 
      { 
       Console.WriteLine("\t{0}\t{1}", reader.GetInt32(0), 
        reader.GetString(1)); 
      } 
      reader.NextResult(); 
     } 
    } 

Answer 2

您可以使用DbDataAdapter獲取所有結果並將它們存儲在DataTable中。

Answer 3

 Dim adapter As New Data.SqlClient.SqlDataAdapter(sqlCommand) 
     Dim DT As New DataTable 
     adapter.Fill(DT) 

Answer 4

我會使用類似dapper-dot-net將其加載到一個基本類型的模型;這是一個micro-ORM，所以你可以獲得元編程的好處（有效地預先生成IL等），而不需要像EF或DataTable那樣的開銷。

Answer 5

我做了一些與各種方法標杆自己：

public DataTable Read1(string query) 
{ 
    using (var cmd = conn.CreateCommand()) 
    { 
     cmd.CommandText = query; 
     cmd.Connection.Open(); 
     var table = new DataTable(); 
     using (var r = cmd.ExecuteReader()) 
      table.Load(r); 
     return table; 
    } 
} 

public DataTable Read2<S>(string query) where S : IDbDataAdapter, IDisposable, new() 
{ 
    using (var da = new S()) 
    { 
     using (da.SelectCommand = conn.CreateCommand()) 
     { 
      da.SelectCommand.CommandText = query; 
      DataSet ds = new DataSet(); 
      da.Fill(ds); 
      return ds.Tables[0]; 
     } 
    } 
} 

public IEnumerable<S> Read3<S>(string query, Func<IDataRecord, S> selector) 
{ 
    using (var cmd = conn.CreateCommand()) 
    { 
     cmd.CommandText = query; 
     cmd.Connection.Open(); 
     using (var r = cmd.ExecuteReader()) 
      while (r.Read()) 
       yield return selector(r); 
    } 
} 

public S[] Read4<S>(string query, Func<IDataRecord, S> selector) 
{ 
    using (var cmd = conn.CreateCommand()) 
    { 
     cmd.CommandText = query; 
     cmd.Connection.Open(); 
     using (var r = cmd.ExecuteReader()) 
      return ((DbDataReader)r).Cast<IDataRecord>().Select(selector).ToArray(); 
    } 
} 

public List<S> Read5<S>(string query, Func<IDataRecord, S> selector) 
{ 
    using (var cmd = conn.CreateCommand()) 
    { 
     cmd.CommandText = query; 
     cmd.Connection.Open(); 
     using (var r = cmd.ExecuteReader()) 
     { 
      var items = new List<S>(); 
      while (r.Read()) 
       items.Add(selector(r)); 
      return items; 
     } 
    } 
} 

1和2返回DataTable而其餘的強類型的結果集，所以它究竟不是蘋果和蘋果，但我同時他們的時間相應。

只需要領：

Stopwatch sw = Stopwatch.StartNew(); 
for (int i = 0; i < 100; i++) 
{ 
    Read1(query); // ~8900 - 9200ms 

    Read1(query).Rows.Cast<DataRow>().Select(selector).ToArray(); // ~9000 - 9400ms 

    Read2<MySqlDataAdapter>(query); // ~1750 - 2000ms 

    Read2<MySqlDataAdapter>(query).Rows.Cast<DataRow>().Select(selector).ToArray(); // ~1850 - 2000ms 

    Read3(query, selector).ToArray(); // ~1550 - 1750ms 

    Read4(query, selector); // ~1550 - 1700ms 

    Read5(query, selector); // ~1550 - 1650ms 
} 

sw.Stop(); 
MessageBox.Show(sw.Elapsed.TotalMilliseconds.ToString()); 

查詢返回約1200行5場（運行100次）。除了Read1都表現良好。在所有我喜歡Read3其中列舉延遲返回數據。如果你只需要枚舉它，這對記憶很有用。要在內存中擁有該集合的副本，您最好使用Read4或Read5。

Answer 6

使用無類型的數據集。就我所知，這是最快的。