如果字段重複，則刪除行

Question

如果第一個字段是重複的，則查找awk（或sed）單行程以刪除輸出中的行。

去除我見過重複行的一個例子是：

awk 'a !~ $0; {a=$0}' 

使用它，沒有運氣的基礎試過了（我以爲改變$ 0'到$ 1的會做的伎倆，但似乎沒有工作）。

Answer 1

awk '{ if (a[$1]++ == 0) print $0; }' "$@" 

這是一個關聯數組的標準（非常簡單）用法。

Answer 2

這是如何。如果你打開使用Perl刪除重複

awk '!_[$1]++' file 

Answer 3

：

perl -ane 'print if ! $a{$F[0]}++' file 

-a autosplits行成@F陣列，其索引從0開始
%a哈希記錄是否已經看到第一個字段

---

此相關的解決方案假定您的分隔符是逗號，而不是空格

perl -F, -ane 'print if ! $a{$F[0]}++' file