按行拆分csv文件並重新排列

Question

我遇到類似的情況，此處發現的問題是Split single column of csv horizontally in bash into multiple smaller csv files in BASH，問題是在不同的文件中拆分。我需要做類似的事情，但在同一個文件中。

我使用的是bash，我有幾個csv文件，直到第27行爲止。然後，一千行數據，然後是另一個標題和另一千行數據。然而，我將簡化這裏：

**row1** Begin of header 
... 
**row26** TASK1, TASK2, DV-T1, DV-T2 
**row27** --- End of header --- 
**row28** 1, 111, 1, 991, 1, 1.1, 1, 9.1 
**row29** 2, 112, 2, 992, 2, 1.2, 2, 9.2 
**row30** 3, 113, 3, 993, 3, 1.3, 3, 9.3 
... 
**row1028** 1000, 1128, 1000, 1028, 1000, 1.2, 1000, 10.2 
**row1029** Begin of 2nd Header 
... 
**row1039** End of 2nd header 
**row1040** 1, 0.1, 1, 0.9 
**row1041** 2, 0.2, 2, 0.8 
**row1042** 3, 0.3, 3, 0.7 
... 
**row2040** 1000, 0.6, 1000, 0.6 
**row2041** End of 2nd data 
**row2042** Performance, 0.87 
**row2043** End of file 

我期待的行分成1個csv文件，使得：

**row1** task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference 
**row2** 111, 1.1, 991, 9.1, 0.1, 0.9 
**row3** 112, 1.2, 992, 9.2, 0.2, 0.8 
**row4** 113, 1.3, 993, 9.3, 0.3, 0.7 
... 
**row1001** 1128, 1.2, 1028, 10.2, 0.6, 0.6 

這就是我試圖做的：

for strategy in *; do 
    if [ -d "$strategy" ] ; then 
     cd $strategy 
     for file in *; do 
      if [ -f "$file" ] ; then 
       namefile=$(printf "${file/.csv/-output.csv}") 
       #printf "$namefile\n" 
       awk -F, 'BEGIN{print "task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference"};NR > 27 && NR < 1029 { print $2 "," $6 "," $4 "," $8};NR > 1039 && NR < 2041 {print $2 "," $4 }' "$file" > "$namefile" 
      fi 
     done 
    cd .. 
    fi 
done 

然而，輸出只是第一個命令，即，

**row1** task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference 
**row2** 111, 1.1, 991, 9.1 
**row3** 112, 1.2, 992, 9.2 
**row4** 113, 1.3, 993, 9.3 
... 
**row1001** 1128, 1.2, 1028, 10.2 

如何重新排列色譜柱？是否有必要創建兩個文件到後一個合併通過paste -d「」output1.csv output2.csv> real-output.csv？我是否也可以將輸出文件中的第二行的行性能（row2042 Performance，0.87）移動？

Answer 1

這是一個稍微複雜一點的awk腳本，我建議將它移動到一個外部文件。

$ cat rearrange.awk 
BEGIN { 
    FS="," 
    OFS=FS 
    print "task1, dev-task1, task2, dev-task2, FractionT1-T2, Difference" 
} 

# First data block: Collect the tasks and dev-tasks 
NR > 27 && NR < 1029 { 
    task1[NR-27] = $2 
    task2[NR-27] = $4 
    dtask1[NR-27] = $6 
    dtask2[NR-27] = $8 
} 

# Second data block: Collect the fraction and differences 
NR > 1039 && NR < 2041 { 
    frac[NR-1039] = $2 
    diff[NR-1039] = $4 
} 

# If we find a line that contains the performance, print it. 
# Since we haven't printed anything beside the header yet, 
# This will be the second line. 
/Performance/ {print} 

# Reached the end of the file, now print everything. 
END { 
    for (i=1; i<=1001; i++) { 
     print task1[i], dtask1[i], task2[i], dtask2[i], frac[i], diff[i] 
    } 
} 
$ awk -f rearrange.awk $file > $namefile 

這應該可以做到。基本上，awk在逐個記錄的基礎上工作。所以當它到達文件的第二部分時，它已經完全處理了上一節。

但是，如果我們將值添加到數組中，那麼我們可以在最後訪問數組。