Powershell的行數與大量文本文件

Question

問候光榮同志CSV，

我再次需要借用你的才華最大化我的解決方案能力。

我必須使用powershell遍歷大量文本文件（某些情況下爲20 GB）的目錄，提取文件名，行計數和創建日期，然後將該信息輸出到csv中。

這是到目前爲止我的代碼：

$fileEntries = [IO.Directory]::GetFiles("T:\frg\working"); 
foreach($fileName in $fileEntries) 
{ 
    $count = 0 
    $filedate = (Get-Date).Date 
    $reader = New-Object IO.StreamReader $filename 
    while($reader.ReadLine() -ne $null){$count++} 
    $reader.close() 
    #Get-Content $filename | %{$lines++} 
    [Console]::Writeline($filename+" "+$count+" "+ $filedate); 

} 

一開始日期只是一個臨時填料，直到我能得到的文件創建日期。

目前，它輸出類似於：

T:\frg\working\file1.txt 90055 03/06/2014 00:00:00 
T:\frg\working\file2.txt 6419616 03/06/2014 00:00:00 

但對我的生活我不能管這個成功CSV文件。

我試着設置一個自定義屬性的對象並輸出到該對象，但它說管道是空的。

巨大的文件大小阻止使用Import-csv選項（將20GB導入內存導致一些問題）。如果我可以通過擴展過濾，它也會很整潔，但如果不能，我可以解決它。

任何指針將不勝感激，謝謝你提前。

Answer 1

試試這個：

$fileEntries = [IO.Directory]::GetFiles("T:\frg\working") 

$RecordCounts = 
    foreach($fileName in $fileEntries) 
    { 
    $count = 0 
    $filedate = (Get-Date).Date 
    Get-Content $fileName -ReadCount 1000 | 
    foreach {$count += $_.count} 

    New-Object psobject -Property @{FileName = $fileName;Count = $count;FileDate = $filedate} 
} 

$RecordCounts | Export-Csv c:\somedir\RecordCounts.csv 

編輯： 測試3個靠在小的1GB的文件解決方案，超過12萬線：

$testfile = 'c:\testfiles\bigfile.txt' 

'Get-Content | Measure-Object' 
(measure-command { 
Get-Content $testfile | 
    Measure-Object -Line | select -expand Lines 
}).TotalSeconds 
'' 

'StreamReader' 
(measure-command { 
$count=0 
$reader = New-Object IO.StreamReader $testfile 
while($reader.ReadLine() -ne $null){$count++} 
$reader.close() 
}).TotalSeconds 
'' 

'Get-Content -ReadCount' 
(measure-command { 
$count=0 
Get-Content $testfile -ReadCount 1000 | 
    foreach {$count += $_.count} 
}).TotalSeconds 



Get-Content | Measure-Object 
175.0600678 

StreamReader 
20.3832785 

Get-Content -ReadCount 
6.0199737 

Answer 2

這幾乎是你所有的代碼在這裏...我添加$Output作爲ForEach循環外的空數組。然後在循環內部，我使用您指定的值創建一個自定義對象，並將該對象添加到數組中以進行每次傳遞。最後，我在ForEach循環的最後使用Export-CSV將$Output保存爲CSV文件。

$fileEntries = [IO.Directory]::GetFiles("T:\frg\working"); 
$OutPut = @() 
foreach($fileName in $fileEntries) 
{ 
    $count = 0 
    $filedate = (Get-Date).Date 
    $reader = New-Object IO.StreamReader $filename 
    while($reader.ReadLine() -ne $null){$count++} 
    $reader.close() 
    #Get-Content $filename | %{$lines++} 
    [Console]::Writeline($filename+" "+$count+" "+ $filedate); 
    $Current = New-Object -TypeName PSObject -Property @{ 
     FileName = $filename 
     Count = $count 
     FileDate = $filedate 
    } 
    $Output += $Current 
} 
$Output|Export-CSV C:\SomeFile.csv -notypeinfo 

Answer 3

這是我會怎麼做它：

gci *.txt | % { 
    $lineCount = gc $_ | Measure-Object -Line | select -expand Lines 
    select -InputObject $_ CreationTime, Name, @{Name="LineCount"; Expression={$lineCount}} 
    } | ConvertTo-Csv 

從我的測試中，文件上的gc似乎不會將整個文件加載到內存中（它必須使用一些流水線魔術），因此可能不需要編寫自己的行計數器。

我在PS3中測試過。其中一個文本文件是13GB。