從文本文件中刪除這兩個重複項（不只是重複項）？

Question

通過這個我的意思是，擦除重複的文本文件中的所有行，而不僅僅是重複。我的意思是重複的行和重複的行。這會讓我只留下沒有重複的行列表。也許正則表達式可以在記事本++中做到這一點？但是哪一個？任何其他方法？

Answer 1

如果您使用的是類似unix的系統，則可以使用uniq命令。

ezra@ubuntu:~$ cat test.file 
ezra 
ezra 
john 
user 
ezra@ubuntu:~$ uniq -u test.file 
john 
user 

請注意，類似的行是相鄰的。如果不是，你必須先排序文件。

ezra@ubuntu:~$ cat test.file 
ezra 
john 
ezra 
user 
ezra@ubuntu:~$ uniq -u test.file 
ezra 
john 
ezra 
user 
ezra@ubuntu:~$ sort test.file | uniq -u 
john 
user 

Answer 2

如果你有接取到支持PCRE風格的正則表達式，這是直截了當：

s/(?:^|(?<=\n))(.*)\n(?:\1(?:\n|$))+//g

(?:^|(?<=\n))  # Behind us is beginning of string or newline 
(.*)\n   # Capture group 1: all characters up until next newline 
(?:    # Start non-capture group 
    \1    # backreference to what was captured in group 1 
    (?:\n|$)   # a newline or end of string 
)+    # End non-capture group, do this 1 or more times 

上下文是一個字符串

use strict; use warnings; 

my $str = 
'hello 
this is 
this is 
this is 
that is'; 

$str =~ s/ 
      (?:^|(?<=\n)) 
      (.*)\n 
      (?: 
       \1 
       (?:\n|$) 
     )+ 
    //xg; 

print "'$str'\n"; 

__END__ 

輸出：

'hello
that is'