刪除txt文檔中的重複行並保留一行？

Question

我不是程序員，但我想幫助刪除文檔中的重複行，並只保留原始行。 我試圖用一些文本處理器editpadpro做到這一點，但由於我的文件超過1 GB，總是被凍結，無法完成操作。

我知道perl在這方面非常好，但我不知道如何使用它，請記住該文件可以超過1或2 GB。輸入線

例如：輸出線

line 1 
line 2 
line 3 
line 1 
line 2 
line 4 
line 1 

例如：

line 1 
line 2 
line 3 
line 4 

我很抱歉，如果這是很基本的，但我真的不知道如何着手，大部分我使用內置函數的時間，我希望不要惹惱任何有這個問題的人。

Answer 1

如果你不介意在原來的順序不是行，你可以使用這個命令：

$ sort -u old_file.txt > new_file.txt 

的sort將整理您的文件，以及-u選項代表獨特這意味着它只會輸出第一個匹配的行。

即使是非常大的文件，sort也許是您最大的希望。

Answer 2

這也可以使用awk有效地完成：http://awk.freeshell.org/AwkTips

awk '!a[$0]++' 

Answer 3

保留現有順序（第一次的每一行被發現）：

perl -i -wlne'our %uniq; $uniq{$_}++ or print' file.txt