0
我們使用3個集羣機器並將mapreduce.tasktracker.reduce.tasks.maximum屬性設置爲9.當我設置了reducer的否等於或小於9時,作業正在成功,但如果我設置的大於9然後失敗,例外情況是「Task attempt_201701270751_0001_r_000000_0 ping 60秒失敗。殺死!」。任何一個人可以指導我什麼是問題Reducers失敗
我們使用3個集羣機器並將mapreduce.tasktracker.reduce.tasks.maximum屬性設置爲9.當我設置了reducer的否等於或小於9時,作業正在成功,但如果我設置的大於9然後失敗,例外情況是「Task attempt_201701270751_0001_r_000000_0 ping 60秒失敗。殺死!」。任何一個人可以指導我什麼是問題Reducers失敗
hadoop -0.20似乎有一些錯誤。
https://issues.apache.org/jira/browse/MAPREDUCE-1905(僅供參考)。
你可以請嘗試增加任務超時?
(mapreduce.task.timeout到一個更高的值)(0將禁用超時)
能否請您去看看這是失敗的減速機的日誌,並提供堆棧錯誤。確定是什麼導致此錯誤會非常有用。 – dbustosp
除此之外沒有錯誤日誌2017-01-20 08:16:37,536信息mapred.TaskTracker [main]:任務attempt_201612080512_0140_r_000003_1未能ping 60秒。殺! 2017-01-20 08:16:37,536信息mapred.TaskTracker [main]:關於清除任務:attempt_201612080512_0140_r_000003_1 – wazza
添加reducer代碼,也許問題是你沒有寫入上下文,reducer變爲不活動 – AdamSkywalker