崇高文本2 - 刪除重複單詞在列表中的行

Question

我能做些什麼來刪除其中一個單詞（而不是數字）相同的所有行。這裏是例子：

4,5876746600174000,dog 
4,5876736392287000,nacho 
4,5876692287755000,dog 
4,5876684072439000,tree 
4,5876692287773600,dog 
4,5876692879655000,dog 
4,5876692434755000,frog 

我想讓它自動刪除每一行，上面寫着「狗」的時候，已經提到一次後，包括所有內容...任何想法？它顯然是一個csv文件，所以也許它更快開放辦公室？

Answer 1

要ommit爲第3場中的重複行，你可以使用：

sort -t, -k3 file.csv|sort -t, -k3 -u 

，這將給你：

4,5876692287755000,dog 
4,5876692434755000,frog 
4,5876736392287000,nacho 
4,5876684072439000,tree 

不要試圖使它只用一個sort短，因爲sort -t, -k3 -u file.csv會給你有不同的結果：

4,5876746600174000,dog 
4,5876692434755000,frog 
4,5876736392287000,nacho 
4,5876684072439000,tree 

注意第二個字段爲dog的行具有不同的值（它忽略除dog的最後一行之外的所有行）

我認爲將CSV文件導入某些數據庫（sqlite？）應該也不錯。比你可以使SELECT與GROUP BY。