的Hadoop - 故障中恢復僅減少

Question

我已經完成了地圖部分爲4天一個Hadoop作業的運行，現在看來得到在減少（減速機30％完成）

階段暫停

我真的很希望能有一種方法來只重新處理減少部分，而不必重新處理長期地圖部分，任何建議？ 有些東西可能會變得更糟，我只有一個減速器。

謝謝！

Answer 1

Hadoop將只會在您的情況下重新啓動Reduce步驟。

但是，如果您的工作失敗，您不能跳過地圖步驟。 在這種情況下，您應該將兩個階段拆分爲獨立作業，尤其是在您的映射器計算密集的情況下。