2015-05-08 123 views
2

我正在使用MongoTool runner將數據從mongoDB導入到Hadoop mapreduce作業。由於我得到的數據的大小爲OutOfMemoryError。所以我想限制我以批處理方式獲取的記錄數量。限制選擇查詢批量大小

MongoConfigUtil.setQuery() 

只能設置查詢,但我不能設置大小來限制獲取記錄的數量。我所尋找的是類似

MongoConfigUtil.setBatchSize() 然後 MongoConfigUtil.getNextBatch()

類似的東西。

請提出建議。

+1

有一種叫做mongoconfigutil.setsplitsize(CONF,值),這將在限制輸入分流大小有幫助的。 – madhu

+0

所以,如果我設置,我應該擔心獲得下一批記錄或API本身會自動照顧它? – Raghuveer

+0

API應該照顧它... – madhu

回答