爲什麼火花擊殺任務？

Question

我跑了火花計算應用程序，我經常碰到一些問題與任務查殺。這裏是如何看起來像我的火花控制檯：

可以看到有一些工作與描述（_num_ killed: another attempt succeeded）。這不僅僅是失敗，這是不同的。有人可以解釋它是什麼嗎？

Answer 1

如果任務似乎正在一個非常長時間才能完成，星火可以啓動的情況下，該任務的額外的重複副本，他們可以更快地完成。這被稱爲投機或投機性執行。如果一個副本成功，其他人可以被殺死。

查看參數開始spark.speculation這裏：https://spark.apache.org/docs/latest/configuration.html

Answer 2

殺害 - 這意味着，執行由誰停下來問殺遺囑執行人的工人死亡。這種情況可能是由於諸多原因像某些用戶驅動的行動，也可以是你的遺囑執行人處理完畢，但由於工人卻正在退出，因此需要殺死執行它不存在某些原因。在加工過程中