在Livy提交Spark作業時配置（no）重試

Question

當通過Livy提交長時間運行的Spark批處理作業時，作業默認爲5次重試，最終會失敗5次。我該如何改變這種情況，以便立即失敗？

我的環境是Spark 1.6，運行在Azure HDInsight（HDP）上。

謝謝！

Answer 1

這是您的紗線配置，而不是Livy。 在「高級紗線位置」下進入紗線配置頁面，如果您不想重試，請將「yarn.resourcemanager.am.max-attempts」從5更改爲1。