計算列的小部分的平均值，按perl鍵分組？

Question

這個問題與這個問題非常相似How can I get the average and standard deviations grouped by key?但我無法修改它以適應我的問題。

我有很多的文件（.CSV）與7列，最後三列是這樣的：

col5,col6,col7 
1408,1,123 
1408,2,234 
1408,3,345 
1408,4,456 
1408,5,567 
1408,6,678 
1409,0,123 
1409,1,234 
1409,2,345 
1409,3,456 
1409,4,567 
1409,5,678 
1409,6,789 
... 
N,0,123 
N,1,234 
N,2,345 
N,3,456 
N,4,567 
N,5,678 
N,6,789 

我想要做的是計算最後一列的平均值（COL7）對於在第5列（col5）中具有相同值的所有值，所以1408,1409,1410，...直到N和我不知道N.我想在該行旁邊打印該平均值（在col8中）在第6列（col6）中包含3。請注意，在第6列（COL6）值從0到6，但因此，我要的是文件的第一個數字是不是始終爲0：

col1,col2,col3,col4,col5,col6,col7,col8 
bla,bla,bla,bla,1408,3,345,400.5 
bla,bla,bla,bla,1409,3,456,456 
... 
bla,bla,bla,bla,N,3,456,456 

我有一些腳本，我可以用它來計算平均值，但我必須能夠將我的值放入數組中。以下是我試圖做的，但它不起作用。另外，我只是試圖自己學習Perl，所以如果它看起來像廢話，我只是想！

open (FILE, "<", $dir.$file) or die; 
    my @lines = <FILE>; 
    foreach my $line(@lines) { 
     my ($col1,$col2,$col3,$col4,$col5,$col6,$col7) = split(/\,/, $line); 
     push @arrays5, $col5; 
    } 

    foreach my $array5(@arrays5) {    
     foreach my $line(@lines) { 
      my ($col1,$col2,$col3,$col4,$col5,$col6,$col7) = split(/\,/, $line); 
      if ($array5 == $col5) { 
       push @arrays7, $col7; 
      } 
     } 
    } 
close(FILE); 

Answer 1

我們試圖完成的答案，你會嘗試這一點，並告訴我如何接近來之前什麼你要？

#!/usr/bin/perl 
use warnings; 
use strict; 

my $target = 3; 

my %summary; 

while(<>) { 
    chomp; 
    my ($col1,$col2,$col3,$col4,$col5,$col6,$col7) = split /\,/; 
    $summary{$col5}{total} += $col7; 
    ++$summary{$col5}{count}; 
    $summary{$col5}{line} = $_ if $col6 == $target; 
} 

$summary{$_}{average} = $summary{$_}{total}/$summary{$_}{count} 
    for keys %summary; 

print "${summary{$_}{line}},${summary{$_}{average}}\n" 
    for sort keys %summary; 

如果夠接近，那麼你可能希望自己完成。如果沒有，那麼我們可以進一步討論這個問題。

請注意，如果您希望從數據文件而不是標準輸入中讀取數據，則可以用<FILE>代替<>。

實現注意

的代碼依賴於Perl的自動激活功能。例如，觀察行++$summary{$col5}{count};，這似乎最初會增加一個不存在的計數器。但是，這實際上是標準的Perl成語。如果你試圖對一個不存在的對象進行算術運算（比如遞增），Perl會隱式地創建對象，將它初始化爲零，然後完成你想要的東西（比如遞增）。

對於像C++這樣更加清醒的編程語言來說，自動化可能是不明智的，但多年的經驗表明，autovivification能夠在像Perl這樣溫和的語氣稍遜一些的語言中實現順序和便利之間的正確平衡。

在更基本的層面上，代碼可能僅適用於那些用於Perl散列的代碼。但是，如果你以前沒有使用過Perl的哈希，這將是學習它們的好機會。哈希是語言的核心支柱，上面提供了一個相當典型的例子。

在這種情況下，我們有散列哈希值，這也是相當典型的。

Answer 2

這應該有所斬斷。適當替換列表[索引]。

use Data::Dumper ; 
    open (FILE, "<", '/tmp/myfile') or die; 
    my @lines ; 
    my (%Sum,%Count); 

    chomp(@lines = <FILE>); 
    foreach my $line(@lines) { 
     next if $line =~ /col/; 
     my @Cols = split /,/, $line; 
     $Sum{$Cols[0]} += $Cols[2] ; 
     $Count{$Cols[0]}++; 
    } 

    foreach my $line(@lines) { 
     if($line=~/col/) { 
      print "$line,colX\n" ; 
      next; 
     } 

     my @Cols = split /,/, $line; 
     if($Cols[1]==3) { 
      print "$line,",$Sum{$Cols[0]}/$Count{$Cols[0]},"\n" ; 
     } else { 
      print "$line,-1\n"; 
     } 
    } 

樣品輸入的/ tmp/myfile的

col5,col6,col7 
1408,1,123 
1408,2,234 
1408,3,345 
1408,4,456 
1408,5,567 
1408,6,678 
1409,0,123 
1409,1,234 

樣本輸出

col5,col6,col7,colX 
1408,1,123,-1 
1408,2,234,-1 
1408,3,345,400.5 
1408,4,456,-1 
1408,5,567,-1 
1408,6,678,-1 
1409,0,123,-1 
1409,1,234,-1 

Answer 3

使用Text::CSV_XS模塊的一種方法。它不是一個內置的，所以它必須從CPAN或類似的工具安裝。

內容script.pl：

含量 infile

use warnings; 
use strict; 
use Text::CSV_XS; 

my ($offset, $col_total, $row3, $rows_processed); 

## Check arguments to the script. 
die qq[Usage: perl $0 <input-file>\n] unless @ARGV == 1; 

## Open input file. 
open my $fh, q[<], shift or die qq[Open error: $!\n]; 

## Create the CSV object. 
my $csv = Text::CSV_XS->new or 
     die qq[ERROR: ] . Text::CSV_XS->error_diag(); 

## Read file content seven lines each time. 
while (my $rows = $csv->getline_all($fh, $offset, 7)) { 

     ## End when there is no more rows. 
     last unless @$rows; 

     ## For each row in the group of seven... 
     for my $row (0 .. $#{$rows}) { 

       ## Get value of last column. 
       my $last_col_value = $rows->[ $row ][ $#{$rows->[$row]} ]; 

       ## If last column is not a number it is the header, so print it 
       ## appending the eigth column and read next one. 
       unless ($last_col_value =~ m/\A\d+\Z/) { 
         $csv->print(\*STDOUT, $rows->[ $row ]); 
         printf qq[,%s\n], q[col8]; 
         next; 
       } 

       ## Acumulate total amount for last column. 
       $col_total += $last_col_value; 

       ## Get third row. The output will be this row with the 
       ## average appended. 
       if ($rows->[ $row ][-2] == 3) { 
         $row3 = [ @{ $rows->[ $row ] } ]; 
       } 

       ## Count processed rows. 
       ++$rows_processed; 
     } 

     ## Print row with its average. 
     if ($rows_processed > 0 && ref $row3) { 
       $csv->print(\*STDOUT, $row3); 
       printf qq[,%g\n], $col_total/$rows_processed; 
     } 

     ## Initialize variables. 
     $col_total = $rows_processed = 0; 
     undef $row3; 
} 

：

col1,col2,col3,col4,col5,col6,col7 
bla,bla,bla,bla,1408,1,123 
bla,bla,bla,bla,1408,2,234 
bla,bla,bla,bla,1408,3,345 
bla,bla,bla,bla,1408,4,456 
bla,bla,bla,bla,1408,5,567 
bla,bla,bla,bla,1408,6,678 
bla,bla,bla,bla,1409,0,123 
bla,bla,bla,bla,1409,1,234 
bla,bla,bla,bla,1409,2,345 
bla,bla,bla,bla,1409,3,456 
bla,bla,bla,bla,1409,4,567 
bla,bla,bla,bla,1409,5,678 
bla,bla,bla,bla,1409,6,789 

運行它喜歡：

perl script.pl infile 

隨着下面的輸出：

col1,col2,col3,col4,col5,col6,col7,col8 
bla,bla,bla,bla,1408,3,345,400.5 
bla,bla,bla,bla,1409,3,456,456