Bash：如何檢查文件中是否有任何重複的單詞

Question

我有一個每行都有6個字符的文件，我想檢查是否有任何重複的單詞。我做了以下，但東西是不正確：

#!/bin/bash 

while read line 
do 
    name=$line 
    d=$(grep '$name' chain.txt | wc -w) 

    if [ $d -gt '1' ]; then 
    echo $d $name 
    fi 
done <$1 

Answer 1

假設每個字是一個新的生產線，就可以實現這一點沒有循環：

$ cat chain.txt | sort | uniq -c | grep -v " 1 " | cut -c9- 

Answer 2

您可以使用awk爲：

awk -F'\n' 'found[$1] {print}; {found[$1]++}' chain.txt 

將字段分隔符設置爲換行符，以便我們查看整行。然後，如果該行已經存在於數組found中，則打印該行。最後，將該行添加到找到的數組中。

注意：如果一行只會被抑制一次，所以如果出現相同的行，例如6次，它將被打印5次。