2016-03-30 36 views
4

想了解在Mapper/Reducer中處理異常的最佳實踐。選項1:不要有任何try/catch,並讓任務失敗,MR會重試最終終止任務的任務。屬性mapreduce.map/reduce.maxattempts在這裏扮演角色。在Mapper或Reducer中處理異常的Hadoop最佳實踐是什麼?

選項2:使用計數器記錄catch塊中的失敗次數。根據這些錯誤的某個閾值,可以殺死該作業或僅使用計數器顯示失敗記錄的數量。

處理map-reduce中異常的任何(其他)常見/標準操作?

回答

2

選項1和2列出了我們在項目中處理的一些方法。請看here。它列出了幾個更多的選項

相關問題