奇「的地圖100％減少在Hadoop中的Java作業0％@輸出

在我的工作的輸出我有一個...Job: map 100% reduce 0%行印刷，每預計...Job: map n% reduce -%線印在我的輸出。除此之外，作業運行正常。奇「的地圖100％減少在Hadoop中的Java作業0％@輸出

見線6條，22及以下（星星前綴）任何想法，爲什麼出現這種情況，或者是什麼意思28

14/03/12 14:51:56 INFO mapred.LocalJobRunner: 
14/03/12 14:51:56 INFO mapred.MapTask: Starting flush of map output 
14/03/12 14:51:56 INFO mapred.MapTask: Spilling map output 
14/03/12 14:51:56 INFO mapred.MapTask: bufstart = 0; bufend = 51192402; bufvoid = 104857600 
14/03/12 14:51:56 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 18693168(74772672); length = 7521229/6553600 
** 14/03/12 14:51:57 INFO mapreduce.Job: map 25% reduce 0% 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: map > sort 
14/03/12 14:51:59 INFO mapred.MapTask: Finished spill 0 
14/03/12 14:51:59 INFO mapred.Task: Task:attempt_local1547766427_0001_m_000007_0 is done. And is in the process of committing 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: map 
14/03/12 14:51:59 INFO mapred.Task: Task 'attempt_local1547766427_0001_m_000007_0' done. 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: Finishing task: attempt_local1547766427_0001_m_000007_0 
14/03/12 14:51:59 INFO mapred.LocalJobRunner: Starting task: attempt_local1547766427_0001_m_000008_0 
14/03/12 14:51:59 INFO mapred.Task: Using ResourceCalculatorProcessTree : [ ] 
14/03/12 14:51:59 INFO mapred.MapTask: Processing split: hdfs://<removed>.lzo:0+21976289 
14/03/12 14:51:59 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer 
14/03/12 14:51:59 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584) 
14/03/12 14:51:59 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100 
14/03/12 14:51:59 INFO mapred.MapTask: soft limit at 83886080 
14/03/12 14:51:59 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600 
14/03/12 14:51:59 INFO mapred.MapTask: kvstart = 26214396; length = 6553600 
** 14/03/12 14:52:00 INFO mapreduce.Job: map 100% reduce 0% 
14/03/12 14:52:02 INFO mapred.LocalJobRunner: 
14/03/12 14:52:02 INFO mapred.MapTask: Starting flush of map output 
14/03/12 14:52:02 INFO mapred.MapTask: Spilling map output 
14/03/12 14:52:02 INFO mapred.MapTask: bufstart = 0; bufend = 52931779; bufvoid = 104857600 
14/03/12 14:52:02 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 18670736(74682944); length = 7543661/6553600 
** 14/03/12 14:52:03 INFO mapreduce.Job: map 29% reduce 0%

編輯：？

我還是不知道到底爲什麼會發生這種情況，但我是錯誤地在本地模式下運行。以集羣模式運行作業（就是所謂的），顯示預期的輸出。

來源

2014-03-12 jkgeyti

看來你沒有減速器。您是否在jobTracker本地主機上驗證過？

來源

2014-03-12 16:27:37

是什麼讓你相信沒有減速器？ – jkgeyti

，因爲如果我理解的很好，你總會有0％的減少，這看起來像是將減少任務的數量設置爲零 –

啊，我明白了。不是，「問題」（作業正常結束）是輸出是例如地圖0％減少0％ - >地圖33％減少0％ - >地圖100％減少0％ - >地圖66％減少0％ - >地圖100％減少0％ - >地圖99％減少0％ - >地圖100 ％減少0％ - >地圖100％減少0％ - >地圖100％減少50％ - >地圖100％減少100％ - >完成 – jkgeyti

看來你正在使用舊的API; 通過查看「org.apache.hadoop.mapred」來說，可以嘗試使用「org.apache.hadoop.mapreduce」。

來源

2014-03-13 05:53:34 Chirag

遺憾的是，沒有一個地圖導入即可。我會嘗試創建一個再現問題的最小示例。 – jkgeyti

奇「的地圖100％減少在Hadoop中的Java作業0％@輸出

回答

相關問題