與LINQ並行csv處理

Question

我有一個函數讀取一個csv文件並返回操作（LINQ）結果。我需要打開每個文件兩次，因爲我需要根據不同的用途對數據進行非常不同的分割，並且使用代碼項目中的「快速CSV閱讀器」，我使用它的速度更快，可以兩次讀取，並且每次直接使用LINQ進行操作比將其讀入DataTable中。

單獨的每個函數調用（imppow或impfuel）都需要超過2秒。

簡單的for循環六個電話（需要13secs）：

string[] pathstring = { @"C:\Temp\Hourly1.txt", @"C:\Temp\Hourly2.txt", @"C:\Temp\Hourly3.txt" }; 
string[] pathgran = { "M", "Q", "Y" }; 
for (int i=0; i < 3; i++) 
{ 
    var respow = imppow(pathstring[i], pathgran[i]); 
    Console.WriteLine(respow[0]); 

    var resfuel = impfuel(pathstring[i], pathgran[i]); 
    Console.WriteLine(resfuel[0]); 
} 

並行化這樣刮鬍子了3秒，但不多：

Parallel.For(0, 3, (i) => 
{ 
    var respow = imppow(pathstring[i], pathgran[i]); 
    Console.WriteLine(respow[0]); 

    var resfuel = impfuel(pathstring[i], pathgran[i]); 
    Console.WriteLine(resfuel[0]); 
}); 

至於說一個呼叫大約需要2秒。我可以通過使用多線程還是進一步降低runtim？ 謝謝。

下面的功能之一：

static object[] impfuel(string filepath, string gran) 
{ 
    using (CsvReader csv = 
      new CsvReader(new StreamReader(filepath), true)) 
    { 
     csv.SupportsMultiline = false; 
     var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], fuel = r[9], rg = r[10], rt = r[11], fp = r[22], fi = r[24] }) 
         .Where(a => a.rt == "F") 
         .GroupBy(a => new { a.rg, a.fuel, a.tar, a.mt }) 
         .Select(g => new { Rpg = g.Select(a => a.rg).First(), Fue = g.Select(a => a.fuel).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.fp)), SumA = g.Sum(a => double.Parse(a.fi)) }) 
         .ToArray(); 
     return results; 
    } 
} 

static object[] imppow(string filepath, string gran) 
{ 
using (CsvReader csv = 
     new CsvReader(new StreamReader(filepath), true)) 
{ 
    csv.SupportsMultiline = false; 
    var results = csv.Select(r => new { yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], rg = r[10], rt = r[11], pp = r[17], pi = r[19] }) 
        .Where(a => a.rt == "M") 
        .GroupBy(a => new { a.rg, a.tar, a.mt }) 
        .Select(g => new { Rpg = g.Select(a => a.rg).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.pp)), SumA = g.Sum(a => double.Parse(a.pi)) }) 
        .ToArray(); 
    return results; 
} 

}

Answer 1

你永遠不知道這些文件的大小，它是一個幾KB或者在我們談話兆？ 一次讀取文件會限制IO速度慢。

我會在閱讀文件時閱讀文件，並將其放入兩個不同的列表中。

string[] pathstring = { @"C:\Temp\Hourly1.txt", @"C:\Temp\Hourly2.txt", @"C:\Temp\Hourly3.txt" }; 
for (int i=0; i < 3; i++) 
{ 
    List<Content> powList = new List<Content>(); 
    List<Content> fuelList = new List<Content>(); 
    ReadFile(pathstring[i], ref powList, ref fuelList); 
    var respow = imppow(powList); 
    Console.WriteLine(respow[0]); 

    var resfuel = impfuel(fuelList); 
    Console.WriteLine(resfuel[0]); 
} 

void ReadFile(string filepath, ref List<Content> powList, ref List<Content> fuelList) 
{ 
    using (CsvReader csv = new CsvReader(new StreamReader(filepath), true)) 
    { 
     csv.SupportsMultiline = false; 
     foreach(Content content in csv.Select(r => new Content(){ yr = r[1], qr = r[3], mt = r[4], tar = r[7], mac = r[8], fuel = r[9], rg = r[10], rt = r[11], pp = r[17], pi = r[19], fp = r[22], fi = r[24] })) 
     { 
      if (content.rt == "F") 
       fuelList.Add(content); 
      else if (content.rt = "M") 
       powList.Add(content); 
     } 
    } 
} 

static object[] impfuel(List<Content> fuelList) 
{ 
    var results = fuelList.GroupBy(a => new { a.rg, a.fuel, a.tar, a.mt }) 
        .Select(g => new { Rpg = g.Select(a => a.rg).First(), Fue = g.Select(a => a.fuel).First(), Tari = g.Select(a => a.tar).First(), Mon = g.Select(a => a.mt).First(), AverageA = g.Average(a => double.Parse(a.fp)), SumA = g.Sum(a => double.Parse(a.fi)) }) 
        .ToArray(); 
    return results; 
} 

}

您可以imppow和內容類你的自我。