用crlf行分隔符讀取BIG文本文件的最佳方法

Question

我有一個非常大的以逗號分隔的文本文件。如前所述，每個字段都用逗號分隔，並用引號（所有字符串）包圍。問題是某些字段包含該字段中多行的CR。所以當我做一個ReadLine時，它停在那個CR上。如果我能告訴它只停止在CRLF組合上，那將是很好的。

有沒有人有任何活潑的方法來做到這一點？這些文件可能非常大。

Answer 1

如果你想要具體ReadLine，爲什麼不實施呢？

public static class MyFileReader { 
    public static IEnumerable<String> ReadLineCRLF(String path) { 
     StringBuilder sb = new StringBuilder(); 

     Char prior = '\0'; 
     Char current = '\0'; 

     using (StreamReader reader = new StreamReader(path)) { 
     int v = reader.Read(); 

     if (v < 0) { 
      if (prior == '\r') 
      sb.Append(prior); 

      yield return sb.ToString(); 

      yield break; 
     } 

     prior = current; 
     current = (Char) v; 

     if ((current == '\n') && (prior == '\r')) { 
      yield return sb.ToString(); 

      sb.Clear(); 
     } 
     else if (current == '\r') { 
      if (prior == '\r') 
      sb.Append(prior); 
     } 
     else 
      sb.Append(current); 
     } 
    } 
    } 

然後用它

var lines = MyFileReader 
    .ReadLineCRLF(@"C:\MyData.txt"); 

Answer 2

如何使用

string line = File.ReadAllText("input.txt"); // Read the text in one line 

然後拆分它回車/換行是這樣的：

var split = line.Split('\n'); // I'm not really sure it's \n you'll need, but it's something! 

，然後在循環處理等通過線

foreach(var line in split) { ... }