如何過濾文件中的所有獨特行？

Question

有沒有辦法通過命令行工具過濾掉文件中的所有獨特行而不排序行？我想實質上做到這一點：

sort -u myFile 

沒有性能擊中排序。

Answer 1

刪除重複的線路：

awk '!a[$0]++' file 

這就是著名的AWK需要一行代碼。關於inet有很多解釋。 Here是一個解釋：

這一行是非常習慣。它記錄了 關聯數組「a」（數組總是在Awk中關聯）和 中看到的行，同時測試它是否已經看到過該行。如果之前看過 一行，那麼[line]> 0和！a [line] == 0。 評估爲false的任何表達式都是空操作，且任何表達式的真值爲 等於「{print}」。