有什麼辦法可以防止減少任務在完成所有映射任務之前啓動

Question

我想在Hadoop集羣上同時運行多個作業，但是我想阻止某些作業開始縮小階段（使減少的插槽忙或保留）在完成該作業的所有地圖任務之前。 是否有任何配置的工作，使上面的主題限制？

謝謝。

Answer 1

減少緩慢啓動 默認情況下，調度程序將等到作業中5％的地圖任務完成後，再調度減少同一作業的任務。對於大型作業，這可能會導致 羣集利用率出現問題，因爲它們在等待地圖任務完成時佔用減少的插槽。將mapred.reduce.slowstart.completed.maps設置爲較高值（如 0.80（80％））可幫助提高吞吐量。

refrence：Hadoop的權威指南第三版，第9章：設置Hadoop集羣頁面：316

Answer 2

你可以得到默認值here爲Apache Hadoop的mapred.reduce.slowstart.completed.maps有值0.05這是

分數工作地圖的數量應該在工作完成之前完成。