如何通過Twitter4J streaming API避免OutOfMemory錯誤？

Question

經過幾千條推文後，我的應用程序從Twitter API中收集推文，Twitter4J得到一個OutOfMemory錯誤。

在接收狀態時，我的代碼會：
- 將狀態轉換爲我自己的對象TwitterStatus。原因是Twitter4J返回的Status是一個接口，不能在MongoDB中序列化。
- 將此狀態添加到列表中。
- 如果列表大小大於25或100（取決於tweet的接收速度），則保存到db。

所以這一切都很簡單，我不在本地存儲任何東西，但我得到這個OutOfMemory錯誤。任何線索我怎麼能保持我的記憶足跡低？

代碼：

StatusListener listener; 
     listener = new StatusListener() { 
      @Override 
      public void onStatus(Status status) { 
       nbTweets++; 
        //the Status returned by Twitter4j is an interface, not serializable. I convert it into my own TwitterStatus object: same fields, serializable. 
        twitterStatus = convertStatus.convertOneToTwitterStatus(status); 
        twitterStatus.setJobId(jobUUID); 
        twitterStatuses.add(twitterStatus); 

        statusesIds.add(status.getId()); 
        timeSinceLastStatus = System.currentTimeMillis() - timeLastStatus; 

        //************************************** 
        //adjusting the frequency of saves to DB, function of number of statuses received per second 
        if (timeSinceLastStatus < 200) { 
         sizeBatch = 100; 
        } else { 
         sizeBatch = 25; 
        } 
        timeLastStatus = System.currentTimeMillis(); 
        progressLong = (Long) ((System.currentTimeMillis() - startDateTime.getMillis()) * 100/(stopTime - startDateTime.getMillis())); 

        if (statusesIds.size() > sizeBatch || progressLong.intValue() > progress) { 

         //************************************** 
         //saving statuses to the db. 
         dsTweets.save(twitterStatuses); 
         twitterStatuses = new ArrayList(); 

         //************************************** 
         //updating list of status ids of the job. 
         opsJob = dsJobs.createUpdateOperations(Job.class).addAll("statuses", statusesIds, true); 
         dsJobs.update(updateQueryJob, opsJob); 
         statusesIds = new ArrayList(); 

         //updating progress. 
         System.out.println("progress: " + progressLong); 
         progress = progressLong.intValue(); 
         opsJobInfo = dsJobsInfo.createUpdateOperations(JobInfo.class).set("progress", progress).set("nbTweets", nbTweets); 
         dsJobsInfo.update(updateQueryJobInfo, opsJobInfo); 

        } 
       } 
      } 

Answer 1

明白了。
由於2.6版，MongoDB's default write concern is "acknowledge"，而不是未確認。這大大減緩了操作。
只需將WriteConcern.UNACKNOWLEDGED添加到所有db寫入操作即可解決問題。