Mapper或Reducer Task中未處理的異常會使任務失敗？

Question

我想知道如果映射器任務（或減速器任務）中的未處理的異常會使任務失敗或只有特定輸入對的時間會被忽略？我想這是前者，但不太確定。

Answer 1

如果異常不是重複發生（即重試將成功），那麼它將使任務失敗，但是任務將被重試（或者並行運行的推測執行可能繼續）。如果總會發生異常（例如輸入數據不正確），那麼重試將繼續失敗，最終整個作業將失敗。

Answer 2

這取決於錯誤。無論哪種方式，我總是使用try-catch塊來包裝地圖並減少邏輯。出現錯誤時，我增加一個計數器，它的名字來源於異常類名。這不僅可以保護hadoop的其他部分免受邏輯錯誤的影響，還可以通過查看日誌讓您瞭解有多少錯誤。