我可以在EMR中重新運行失敗的映射器嗎？

Question

我剛剛醒來發現由於「少量」映射器超時而失敗的16小時EMR MpaReduce作業失敗。

有沒有一種方法可以只重新運行那些失敗的映射器（是的，它在我的具體用例中是有意義的）？怎麼樣？

Answer 1

實時問題的時間太晚。一般來說 - 第

但有時這是可能的。如果您無法準確找出失敗的映射器正在處理哪些拆分（來自映射器日誌） - 並且如果這是僅包含地圖的作業 - 那麼您可以創建只在失敗的拆分後才執行的定製作業。一般來說非常困難 - 特別是因爲分割通常跨越文件。