如何將大文件（大於1 GB）的編碼轉換爲Windows 1252而不發生內存不足異常？

Question

考慮：

public static void ConvertFileToUnicode1252(string filePath, Encoding srcEncoding) 
{ 
    try 
    { 
     StreamReader fileStream = new StreamReader(filePath); 
     Encoding targetEncoding = Encoding.GetEncoding(1252); 

     string fileContent = fileStream.ReadToEnd(); 
     fileStream.Close(); 

     // Saving file as ANSI 1252 
     Byte[] srcBytes = srcEncoding.GetBytes(fileContent); 
     Byte[] ansiBytes = Encoding.Convert(srcEncoding, targetEncoding, srcBytes); 
     string ansiContent = targetEncoding.GetString(ansiBytes); 

     // Now writes contents to file again 
     StreamWriter ansiWriter = new StreamWriter(filePath, false); 
     ansiWriter.Write(ansiContent); 
     ansiWriter.Close(); 
     //TODO -- log success details 
    } 
    catch (Exception e) 
    { 
     throw e; 
     // TODO -- log failure details 
    } 
} 

上面這段代碼返回內存外的一個異常大文件和僅適用於小尺寸的文件。

Answer 1

我覺得還是用 StreamReader和 StreamWriter但是看完塊

字符而不是一次或一行一行是最優雅的解決方案。它不會任意假定文件由可管理長度的行組成，也不會因多字節字符編碼而中斷。

public static void ConvertFileEncoding(string srcFile, Encoding srcEncoding, string destFile, Encoding destEncoding) 
{ 
    using (var reader = new StreamReader(srcFile, srcEncoding)) 
    using (var writer = new StreamWriter(destFile, false, destEncoding)) 
    { 
     char[] buf = new char[4096]; 
     while (true) 
     { 
      int count = reader.Read(buf, 0, buf.Length); 
      if (count == 0) 
       break; 

      writer.Write(buf, 0, count); 
     } 
    } 
} 

（祝StreamReader有一個CopyTo方法類似Stream沒有，如果有，這將基本上是一個班輪！）

Answer 2

不要readToEnd並一次一行讀取或逐行讀取它。如果你閱讀結束，你將整個文件一次放入緩衝區。

Answer 3

試試這個：

using (FileStream fileStream = new FileStream(filePath, FileMode.Open)) 
{ 
    int size = 4096; 
    Encoding targetEncoding = Encoding.GetEncoding(1252); 
    byte[] byteData = new byte[size]; 

    using (FileStream outputStream = new FileStream(outputFilepath, FileMode.Create)) 
    { 
     int byteCounter = 0; 

     do 
     { 
      byteCounter = fileStream.Read(byteData, 0, size); 

      // Convert the 4k buffer 
      byteData = Encoding.Convert(srcEncoding, targetEncoding, byteData); 

      if (byteCounter > 0) 
      { 
       outputStream.Write(byteData, 0, byteCounter); 
      } 
     } 
     while (byteCounter > 0); 

     inputStream.Close(); 
    } 
} 

可能有一些語法錯誤，因爲我已經從內存中完成，但這個是我如何與大型文件，同時在一大塊讀工作，做一些處理和保存大塊回來。這是真正實現它的唯一方式（流式傳輸），而不需要依賴大量的IO讀取所有內容以及巨大的內存消耗將所有內容全部存儲在內存中，然後將其全部存回。

您可以隨時調整緩衝區大小。

如果您希望舊方法在不投擲OutOfMemoryException的情況下工作，則需要告知垃圾收集器允許使用非常大的對象。

在App.config中，<runtime>下添加此以下行（你不應該跟我的代碼需要它，但它是值得了解的）：

<gcAllowVeryLargeObjects enabled="true" />