2
我正在使用MongoTool
runner將數據從mongoDB導入到Hadoop mapreduce作業。由於我得到的數據的大小爲OutOfMemoryError
。所以我想限制我以批處理方式獲取的記錄數量。限制選擇查詢批量大小
MongoConfigUtil.setQuery()
只能設置查詢,但我不能設置大小來限制獲取記錄的數量。我所尋找的是類似
MongoConfigUtil.setBatchSize() 然後 MongoConfigUtil.getNextBatch()
類似的東西。
請提出建議。
有一種叫做mongoconfigutil.setsplitsize(CONF,值),這將在限制輸入分流大小有幫助的。 – madhu
所以,如果我設置,我應該擔心獲得下一批記錄或API本身會自動照顧它? – Raghuveer
API應該照顧它... – madhu