如何將大尺寸的.txt文件數據拆分成小部分並插入到數據庫中？

Question

以下是我的代碼來閱讀和拆分文本文件的內容。

try { 

     br = new BufferedReader(new FileReader("F:\\Test.txt")); 
     final char[] cbuf = new char[2048]; 
     final int length = br.read(cbuf); 

     cbuf[length] = '@'; 
     String packet = new String(cbuf, 0, length + 1); 
     final String[] splitedPacket=packet.split("@"); 
     for(int i=0;i<splitedPacket.length;i++) 
     { 
      if(splitedPacket[i].contains("POS")) 
      { 
       System.out.println(splitedPacket[i]+"@"); 
       preparedstatement=connection.prepareStatement("insert into inserttextfile([file]) values(?)"); 
       preparedstatement.setString(1, splitedPacket[i]+"@"); 
       preparedstatement.executeUpdate(); 
      } 
     } 
    } catch (IOException e) { 
     e.printStackTrace(); 
    } finally { 
     try { 
      if (br != null)br.close(); 
     } catch (IOException ex) { 
      ex.printStackTrace(); 
     } 
    } 

這是工作的罰款在我的小尺寸.txt文件，但如果我使用超過30 MB的文本文件，我得到數組索引出界異常。

那麼如何拆分和讀取這種.txt文件並插入數據庫？ （特別期待拆分大尺寸文件（例如，從30 MB到5 MB）並插入到數據庫中） 請指導我解決此問題。

Answer 1

你不使用的readLine

try { 
     FileInputStream fis = new FileInputStream("F:\\Test.txt"); 
     reader = new BufferedReader(new InputStreamReader(fis));   
     String line = reader.readLine(); 
     while(line != null){ 

      //process your line here, it's just a String... 

      line = reader.readLine(); 
     }   

    } catch (FileNotFoundException ex) { 
     ... 
    } catch (IOException ex) { 

Answer 2

try (Scanner read = new Scanner(new File("/tmp/datafile.txt"));) { 
     read.useDelimiter("@"); 
     while (read.hasNext()) { 
      String splitedPacket = read.next(); 
      System.out.println(splitedPacket); 
      // Perform DB Operation 
     } 
    } catch (FileNotFoundException e) { 
     e.printStackTrace(); 
    } 

1. 做硬盤的方式不要讀取整個文件。
2. 使用掃描儀在任何給定時間只讀取和保持一次讀取 - 以避免OOM
3. 如果可能以批量執行Db操作。 如果您正在一個事務中運行，請讀取1000條記錄並作爲單獨的批量插入進行處理。