地圖變爲100％，然後降至0％？

Question

我是MR的新人，但這似乎不應該會發生。這是輸出：

11/12/07 13:24:42 INFO mapred.JobClient: Running job: job_201112071322_0001 
11/12/07 13:24:43 INFO mapred.JobClient: map 0% reduce 0% 
11/12/07 13:24:57 INFO mapred.JobClient: map 100% reduce 0% 
11/12/07 13:41:48 INFO mapred.JobClient: map 100% reduce 16% 
11/12/07 13:42:18 INFO mapred.JobClient: map 100% reduce 33% 
11/12/07 13:59:53 INFO mapred.JobClient: map 100% reduce 0% 
11/12/07 14:00:04 INFO mapred.JobClient: map 50% reduce 0% 
11/12/07 14:00:24 INFO mapred.JobClient: map 0% reduce 0% 

注意時間。它也只是坐在那裏，並沒有完成或錯誤。我可以想象這個錯誤會發生在減速器中，所以我將它包括在內;如果其他代碼是可疑的，我會發布它，只是問。

代碼：http://pastebin.com/uuL1Cgx4

任何幫助，不勝感激！

Answer 1

幾天前我遇到類似的問題。達到100％後，我的製圖人將降至0％。

最後我發現地圖輸出和減少輸入的數據類型定義是不同的。因此，即使hadoop JobTracker重試執行，map和reduce之間的複製/混洗/合併數據流選項也不起作用。

希望這將是對你有用。