Hadoop的slowtaskthreshold是否有助於解決競爭條件？

Question

我對mapreduce.job.speculative.slowtaskthreshold有疑問。

文檔說：

標準偏差的數量，通過該任務的進度AVE率必須低於的任務的所有正在運行的任務平均要考慮太慢。

我很好奇當一個進程被認爲是「太慢」時會發生什麼。它殺死並重新啓動它？殺人？我很好奇，因爲我認爲我可能遇到了競爭條件，並且想調整參數以最小化問題。

來源：http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

Answer 1

隨着推測執行，當框架決定一個任務是「太慢」，它會預測執行不同的節點上相同的任務。一旦兩個任務中的一個成功完成，另一個任務就會被終止。