如何一次讀取一行csv文件，並隨時替換/編輯某些行？

Question

我有一個60GB的csv文件，我需要做一些修改。客戶希望對文件數據進行一些更改，但我不想重新生成該文件中的數據，因爲需要4天才能完成。

如何逐行讀取文件（並非全部加載到內存中！），並對這些行進行編輯，替換某些值等。

Answer 1

的過程會是這樣的：

1. 打開StreamWriter到一個臨時文件。
2. 打開目標文件的StreamReader。
3. 對於每行：
   1. 根據分隔符將文本拆分爲列。
   2. 檢查要替換的值的列，並將其替換。
   3. 使用分隔符將列值加回到一起。
   4. 將行寫入臨時文件。
4. 完成後，刪除目標文件，並將臨時文件移動到目標文件路徑。

有關步驟2和3.1的注意事項：如果您對文件的結構很有信心，並且它足夠簡單，那麼您可以按照描述的方式完成所有這些操作（我將在一會兒包括一個示例）。但是，CSV文件中可能需要注意的因素（例如識別分隔符何時在字段值中逐字地使用）。你可以自己完成這個嘗試，或者試試existing solution。只是用StreamReader和StreamWriter

---

基本例如：

var sourcePath = @"C:\data.csv"; 
var delimiter = ","; 
var firstLineContainsHeaders = true; 
var tempPath = Path.GetTempFileName(); 
var lineNumber = 0; 

var splitExpression = new Regex(@"(" + delimiter + @")(?=(?:[^""]|""[^""]*"")*$)"); 

using (var writer = new StreamWriter(tempPath)) 
using (var reader = new StreamReader(sourcePath)) 
{ 
    string line = null; 
    string[] headers = null; 
    if (firstLineContainsHeaders) 
    { 
     line = reader.ReadLine(); 
     lineNumber++; 

     if (string.IsNullOrEmpty(line)) return; // file is empty; 

     headers = splitExpression.Split(line).Where(s => s != delimiter).ToArray(); 

     writer.WriteLine(line); // write the original header to the temp file. 
    } 

    while ((line = reader.ReadLine()) != null) 
    { 
     lineNumber++; 

     var columns = splitExpression.Split(line).Where(s => s != delimiter).ToArray(); 

     // if there are no headers, do a simple sanity check to make sure you always have the same number of columns in a line 
     if (headers == null) headers = new string[columns.Length]; 

     if (columns.Length != headers.Length) throw new InvalidOperationException(string.Format("Line {0} is missing one or more columns.", lineNumber)); 

     // TODO: search and replace in columns 
     // example: replace 'v' in the first column with '\/': if (columns[0].Contains("v")) columns[0] = columns[0].Replace("v", @"\/"); 

     writer.WriteLine(string.Join(delimiter, columns)); 
    } 

} 

File.Delete(sourcePath); 
File.Move(tempPath, sourcePath); 

Answer 2

內存映射文件是可以用來編輯大型文件的.NET Framework 4的新功能。 在這裏閱讀http://msdn.microsoft.com/en-us/library/dd997372.aspx 或谷歌內存映射文件

Answer 3

只需閱讀文件，逐行，與streamreader，然後使用REGEX！世界上最神奇的工具。

using (var sr = new StreamReader(new FileStream(@"C:\temp\file.csv", FileMode.Open))) 
     { 
      var line = sr.ReadLine(); 
      while (!sr.EndOfStream) 
      { 
       // do stuff 

       line = sr.ReadLine(); 
      } 

     } 

在這種情況下