發現在一個領域的重複和UNIX的bash打印它們

Question

我有一個文件包含

apple 
apple 
banana 
orange 
apple 
orange 

我想要找到的重複蘋果和橙告訴以下用戶的腳本：蘋果和桔子是重複。 我試圖

nawk '!x[$1]++' FS="," filename 

找到重複項 所以我怎樣才能在UNIX bash中打印出來？

Answer 1

更新：

問題已被顯着改變。以前，回答這個時候，輸入文件應該是這樣的：

apple apple banana orange apple orange 
banana orange apple 
... 

然而，該解決方案將反正工作，但可能是有點太複雜了這個特殊的使用情況。

---

以下awk腳本將做的工作：

awk '{i=1;while(i <= NF){a[$(i++)]++}}END{for(i in a){if(a[i]>1){print i,a[i]}}}' your.file 

輸出：

apple 3 
orange 2 

正是在這樣的形式更容易理解：

#!/usr/bin/awk 

{ 
    i=1; 
    # iterate through every field 
    while(i <= NF) { 
    a[$(i++)]++; # count occurrences of every field 
    } 
} 

# after all input lines have been read ... 
END { 
    for(i in a) { 
    # ... print those fields which occurred more than 1 time 
    if(a[i] > 1) { 
     print i,a[i]; 
    } 
    } 
} 

然後使文件可執行並執行它傳遞荷蘭國際集團輸入文件名給它：

chmod +x script.awk 
./script.awk your.file 

Answer 2

爲了打印重複行，你可以說：

$ sort filename | uniq -d 
apple 
orange 

如果你要打印的數量爲好，供應-c選項uniq ：

$ sort filename | uniq -dc 
     3 apple 
     2 orange 

Answer 3

+1 devnul's answer。但是，如果該文件包含空格而不是換行符作爲分隔符。那麼以下將起作用。

tr [:blank:] "\n" < filename | sort | uniq -d