根據列中的重複項從數據中刪除整行

Question

所以這是我的問題。我有一個巨大的數據文本文件，我需要通過顯然使用Java程序將所有這些數據快速輸入到mySQL數據庫中。我唯一的問題是，數據由特定的ID標識。其中一些ID具有重複項，並且包含與彼此相同的所有信息。爲了排序和清晰起見，我想刪除所有這些。

什麼是最好的方式去做這件事？如果有人能幫助我會很感激！

謝謝。

Answer 1

在讀取數據時有一個hashmap或hashset。檢查該標識是否存在於hasmap/hashset中，如果繼續。否則輸入set/map並插入。

另外： 哈希映射和哈希集之間的區別是哈希集只需要值，而哈希映射需要關鍵值。然而，Hashset本身在內存中使用了一個HashMap，併爲值插入一個虛擬對象。 請參閱：用一個HashSet Differences between HashMap and Hashtable?

例子：

HashSet<Integer> distinctIds = new HashSet<Integer>(); 

    MyRowData rowdata; 
    int rowID; 

    while((rowdata = this.getRowData())!=null) // or however you iterate over the rows using reader etc 
    { 
    rowID = rowdata.getRowID(); 

    if(!distinctIds.contains(new Integer(rowID))) 
    { 
     distinctIds.add(rowID); 
     inertDataInMysql(rowdata); //however you insert your data here 
     System.out.println("Adding " + rowID); 
    } 
    } 

您可以使用批量插入通過執行可交換插入許多行進一步加快你的代碼。請參閱：

• http://viralpatel.net/blogs/batch-insert-in-java-jdbc/
• Why are batch inserts/updates faster? How do batch updates work?

Answer 2

將數據存入數據庫時​​，只需添加一個主鍵，以您的ID。這樣，重複的ID行將不會被添加到您的數據庫。希望這可以幫助。