將大型XML文件解析爲PowerShell對象

Question

我是一名PowerShell和XPath初學者，他們努力通過某些XML高效地解析並構建用於進一步處理（例如CSV輸出，SQL Server加載）的對象數組。下面包含了一個XML樣本以及我目前使用的代碼片段。在此架構中，每個object-array表示所需輸出中的單個行。我正在解析MetaData子項以獲取專欄的專有名稱，然後構建一組PSObject，其中數組中的每個對象表示一行。信息MetaData用於查找列名稱（PSObject屬性）。

這適用於10K行左右的文件，但對超過500K行的最大文件運行時可能會非常糟糕。在這些情況下，每行需要大約3-4秒的時間來處理。在500K行，這是一個平行的時間。 XPath或PS變量賦值有什麼魔力可以用來加速它？

立即需要將此XML轉換爲CSV（目前通過export-csv執行），但我希望讓腳本的這部分生成一個對象集合，因爲我將接下來要加載此對象數據導入SQL Server實例或執行其他處理。

感謝您的幫助！

大衛

示例XML

<Report> 
<Data> 
<Columns> 
<MetaData> 
<Index>0</Index> 
<Name>Column1</Name> 
<Index>1</Index> 
<Name>Column2</Name> 
<Index>2</Index> 
<Name>Column3</Name> 
</MetaData> 
</Columns> 
<Rows> 
<object-array> 
<string>column1 value</string> 
<int>column2 value</string> 
<string>column3 value</string> 
</object-array> 
</Rows> 
</Data> 
</Report> 

示例代碼

#extract the column headers 
[string[]]$ColumnHeaders = @() 
$obj.SelectNodes("/Report/Data/Columns/MetaData") |% {$ColumnHeaders += $_.name} 

$collection = @() 
$rowint = 0 
$rowcount = $obj.Report.Data.Rows."object-array".count 

#unwind the rows 
do { 
    $hash=@{} 

    #loop through each element in the row parent element and add it to the hash 
    $columnint = 0 
    $columncount = (Select-Xml -xPath "Report/Data/Rows/object-array[$rowint]/node()" $obj).count 
     do { 
      $hash.Add($columnheaders[$columnint], (Select-Xml -xPath "Report/Data/Rows/object-array[$rowint]/descendant::text()[$columnint]" $obj).Node.Value) 
      $columnint++ 
     } while ($columnint -lt $columncount) 


    $thisrow = New-Object PSObject -Property $hash 

    #add this new row to the collection 
    $collection += $thisrow 
    $rowint++ 
} while ($rowint -lt $rowcount) 

Answer 1

你可以得到的元數據名稱無需在每個itreation重新創建ColumnHeaders：

$ColumnHeaders = $obj.Report.Data.Columns.MetaData.Name 

同適用於$ collection。代碼的最終結果如何？

UPDATE：試試這個

[xml]$obj = Get-Content test.xml 

$data = $obj.Report.Data 

$pso = New-Object PSObject 
$pso | Add-Member NoteProperty -Name $data.Columns.MetaData.Name[0] -Value $data.Rows.'object-array'.string[0] 
$pso | Add-Member NoteProperty -Name $data.Columns.MetaData.Name[1] -Value $data.Rows.'object-array'.int 
$pso | Add-Member NoteProperty -Name $data.Columns.MetaData.Name[2] -Value $data.Rows.'object-array'.string[1] -PassThru