將包含多個XML文件的單個大文件讀入C＃中的多個xml記錄

Question

我有一個文件有效地包含多個相同格式的XML文件，因此該文件本身不是有效的XML;例如：

<?xml version='1.0' encoding='UTF-8'?> 
<Proposal xmlns="a namespace"> 
    <ASubnode>Text</ASubNode> 
    <LotsOfOtherNodes /> 
</Proposal> 
<?xml version='1.0' encoding='UTF-8'?> 
<Proposal xmlns="a namespace"> 
    <ASubnode>Text</ASubNode> 
    <LotsOfOtherNodes /> 
</Proposal> 
.... 

我想處理所有建議節點，一次一個;例如：

foreach (var proposal in file) 
    do something 

我不能使用XmlReader，因爲它在到達中間XML聲明節點時引發異常。我可能會將整個文件讀入一個字符串，然後使用Split方法，但這些文件的大小是千兆字節，因此作爲選項並不是特別有吸引力。看起來，我可以一次讀取一行文件，通過正則表達式搜索適當的節點，但這些文件不是像上面那樣以每行一個節點進行行格式化，而是包含非常長的多行節點，節點文本中出現隨機換行符。

有沒有手動實現文本解析器的方法？

Answer 1

您可以通過閱讀文本行因爲xml文檔的標題是相同的：

IEnumerable<XDocument> GetDocuments(Stream bulkStream) 
{ 
    var reader = new StreamReader(bulkStream); 
    var sb = new StringBuilder(); 
    var firstLine = reader.ReadLine(); 
    string line = firstLine;  
    while(line != null) 
    { 
     sb.Clear(); 
     sb.Append(firstLine); 
     while((line = reader.ReadLine()) != null && line != firstLine) 
     { 
      sb.Append(line); 
     } 

     yield return XDocument.Parse(sb.ToString()); 
    } 
} 

UPDATE： 下面的工作，即使聲明可以開始行的在兩者之間：

IEnumerable<XDocument> GetDocuments(Stream bulkStream) 
{ 
    const string decl = @"<?xml version='1.0' encoding='UTF-8'?>"; 
    var sb = new StringBuilder(); 

    bool start = true; 
    foreach(var line in GetLines(bulkStream).Where(l => !string.IsNullOrWhiteSpace(l))) 
    { 
     if (start) 
     { 
      if (line == decl) 
       start = false; 
      sb.AppendLine(line); 
     } 
     else 
     { 
      if (line == decl) 
      { 
       sb.ToString().Dump(); 
       yield return XDocument.Parse(sb.ToString()); 

       sb.Clear(); 
       start = true; 
       sb.AppendLine(line); 
      } 
      else 
       sb.AppendLine(line); 
     } 
    } 

    sb.ToString().Dump(); 
    yield return XDocument.Parse(sb.ToString()); 
} 

IEnumerable<string> GetLines(Stream bulkStream) 
{ 
    const string decl = @"<?xml version='1.0' encoding='UTF-8'?>"; 
    var reader = new StreamReader(bulkStream); 
    string line; 
    while((line = reader.ReadLine()) != null) 
    { 
     if (line.Contains(decl)) 
     { 
      var declIndex = line.IndexOf(decl); 
      yield return line.Substring(0, declIndex); 
      yield return decl; 
      yield return line.Substring(declIndex + decl.Length); 
     } 
     else 
     { 
      yield return line; 
     } 
    } 
} 

Answer 2

你有兩個選擇：

1. 告訴XmlReader中不那麼挑剔。將XmlReaderSettings.ConformanceLevel設置爲ConformanceLevel.Fragment。這將使解析器忽略沒有根節點的事實。

   var settings = new XmlReaderSettings(); 
   settings.ConformanceLevel = ConformanceLevel.Fragment; 
   using (var reader = XmlReader.Create(textReader, settings)) 
   { 
       ... 
   } 
   

2. 與「根」元素包裝你的XML文件，這樣你的文件將只有一個根節點

<?xml version='1.0' encoding='UTF-8'?> 
<root> 
    <Proposal xmlns="a namespace"> 
     <ASubnode>Text</ASubNode> 
     <LotsOfOtherNodes /> 
    </Proposal> 
    <?xml version='1.0' encoding='UTF-8'?> 
    <Proposal xmlns="a namespace"> 
     <ASubnode>Text</ASubNode> 
     <LotsOfOtherNodes /> 
    </Proposal> 
.... 
</root>