2011-06-13 127 views
1

使用linux命令, 我有一個引用的csv文件,我按第一列然後第二列排序,現在我想刪除重複他們匹配的第一和第二列,這怎麼可能做了什麼? uniq似乎不夠,還是它?排序和uniq csv文件

回答

1

你可以反向(REV)的文件,然後uniq的忽略第一N-2場(除了前兩列),然後再次修訂版。

rev | uniq -f N-2 -u | rev 
0

好的,我現在更好地理解你現在需要什麼。怎麼樣使用awk?

http://www.unix.com/shell-programming-scripting/62574-finding-duplicates-columns-removing-lines.html

+0

如果*超過* 2列,可能會出現問題。 – pavium 2011-06-13 02:27:02

+0

我已經對文件進行了排序,並且uniq對我的問題約束不起作用,我認爲行只有在它們的前兩列相同時纔是相同的。 – user775187 2011-06-13 02:28:37

+0

是的,但'uniq'會考慮整條線,除非您告訴它只考慮前兩個字段。像@mjvotaw建議 – pavium 2011-06-13 02:39:20