我如何刪除重複的行，並創建指數AWK

Question

有製表符分隔的文件，如下圖所示：

CNV_chr1_12623251_12632176 8925 3 RR123 XX 
CNV_chr1_13398757_13402091 3334 4 RR123 YY 
CNV_chr1_13398757_13402091 3334 4 RR224 YY 
CNV_chr1_14001365_14004064 2699 1 RR123 YX 
CNV_chr1_14001365_14004064 2699 1 RR224 YX 

列了$ 1，$ 2歲的相同。在這種情況下，我需要通過索引第4列中的值來刪除重複行。並添加額外的5美元，並在$ 4中以英文逗號分隔。示例輸出如下所示：

CNV_chr1_12623251_12632176 8925 3 RR123 1 XX 
CNV_chr1_13398757_13402091 3334 4 RR123,RR124 2 YY  
CNV_chr1_14001365_14004064 2699 1 RR123,RR224 2 YX 

任何有效的操作都會有幫助。

Answer 1

試試這個：

awk '($1 in ar){ar[$1]=ar[$1]; br[$1]=br[$1]","$4; next;} 
    {br[$1]=$4; $4="REPLACE_ME"; ar[$1]=$0} 
    END{for(key in ar){c=split(br[key],s,",") 
         gsub("REPLACE_ME", br[key] FS c, ar[key]) 
         print ar[key]}}' test.txt 

輸出：

CNV_chr1_14001365_14004064 2699 1 RR123,RR224 2 YX 
CNV_chr1_13398757_13402091 3334 4 RR123,RR224 2 YY 
CNV_chr1_12623251_12632176 8925 3 RR123 1 XX 

對於製表符分隔輸入只需添加-F"\t"到awk：

awk -F"\t" '($1 in ar){ar[$1]=ar[$1]; br[$1]=br[$1]","$4; next;} 
      {br[$1]=$4; $4="REPLACE_ME"; ar[$1]=$0} 
      END{for(key in ar){c=split(br[key],s,",") 
         gsub("REPLACE_ME", br[key] FS c, ar[key]) 
         print ar[key]}}' test.txt 

，並得到：

CNV_chr1_14001365_14004064 2699 1 RR123,RR224 2 YX 
CNV_chr1_13398757_13402091 3334 4 RR123,RR224 2 YY 
CNV_chr1_12623251_12632176 8925 3 RR123 1 XX