如何讀取大文本文件並將其分解爲批處理進行處理？

Question

我有一個包含我會用它來加載到我想創建自定義應用程序的GUID大文本文件。由於文件非常大（可能包含數百萬行GUID），因此我想將其分解成多個部分並處理每個部分，然後移至下一部分，直至文件結束。文本文件的

例

ASDFSADFJO23490234AJSDFKL 
JOGIJO349230420GJDGJDO230 
BJCIOJDFOBJOD239402390423 
JFWEIOJFOWE23904239N 
3490FJSDOFOIWEMO23MOFI23O 
FJWEIOFJWEIOFJOI23J230022 

讓我們只說，該文本文件有99,000行，我要處理的第一10,000個值（重複進行，直到結束）。我將使用類似DateTime.Now作爲文件夾名稱的第一批10,000文件創建一個新文件夾。然後，10,000個值將分別具有使用其名稱作爲文件名創建的文件。在第一個10,000值完成後，我將再次使用DateTime.Now創建一個新文件夾，並移動到文本文件中的下一個10,000值。重複，直到文件結束。

我能夠讀取文本文件，使用DateTime.Now創建一個文件夾，使用相應的名稱創建該文件，但我不知道如何從文本文件批處理值列表。

這是我如何讀取文件。

string[] source = new string[] {}; 
source = File.ReadAllLines(@"C:\guids.txt"); 

我試過使用Skip/Take方法，我認爲它的工作原理？但我只是不知道如何創建一個新文件夾並添加新的子集。任何幫助將不勝感激。我願意接受建議，並且可以幫助澄清是否需要更多詳細信息。謝謝！！

Answer 1

從評論，我推斷你的問題其實也不是「我怎麼批從guid.txt讀？」，而是「我怎麼在不同的文件夾的數萬組處理這些GUID和創建文件」。 考慮到這一點，下面是一個如何做到這一點的例子。

var batchSize = 10000; 
var source = File.ReadLines(@"C:\guids.txt"); 
var i = 0; 
var currentDirPath = ""; 
foreach (var line in source) 
{ 
    if (i % batchSize == 0) 
    { 
     currentDirPath = Path.GetRandomFileName(); 
     Directory.CreateDirectory(currentDirPath); 
    } 
    var newFile = Path.Combine(currentDirPath, line + ".txt"); 
    File.WriteAllText(newFile, "Some content"); 
    i++; 
} 

避免對文件名或文件夾名使用DateTime。某些無法預料的行爲使您的代碼嘗試寫入已存在的文件的可能性太高。

編輯：關於並行：只使用它，如果你需要它。這是總是比看起來更復雜，它有一個傾向，很難找到b。這就是說，這裏有一個未經考驗的的想法。

//Make sure the current folder is empty, otherwise the folders are very likely to already exist. 
if (Directory.GetFiles(Directory.GetCurrentDirectory()).Any()) 
{ 
    throw new IOException("Current directory is not empty."); 
} 

var batchSize = 10000; 
var source = File.ReadAllLines(@"C:\guids.txt"); 

//Create the folders synchronoulsy to avoid race conditions. 
var batchCount = (source.Length/batchSize) + 1; 
for (int i = 0; i < batchCount; i++) 
{ 
    Directory.CreateDirectory(i.ToString()); 
} 

source.AsParallel().ForAll(line => 
{ 
    var folder = ((int)(Array.IndexOf(source, line)/batchSize)).ToString(); 
    var newFile = Path.Combine(folder.ToString(), line + ".txt"); 
    File.WriteAllText(newFile, "Some content"); 
});