我正在用IntelliJ開發在HD Insights集羣（基於YARN）中運行的Spark應用程序。目前，我直接從IntelliJ通過Azure HD Insights插件提交作業。這反過來使用Livy API遠程提交作業。如何在HD Insights（YARN）上永久運行火花流作業？
當我與開發的代碼完成，我想流作業要永遠運行。目前，如果作業失敗五次，程序將停止並且不會自行重啓。有什麼方法可以改變這種行爲嗎？或者大多數人使用什麼解決方案使失敗後的火花重啓？紗線星火工作的
重新啓動是由紗線設置控制。因此，您需要增加紗線中的火花應用程序（紗線應用程序主）的重新啓動次數。我相信它是：yarn.resourcemanager.am.max-attempts。 在HDInsight中，轉到Ambari UI並在紗線 - >配置 - >高級紗線站點中更改此設置。
爲了提交生產工作，你可以直接使用此處描述李維的API：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-eventhub-streaming#run-the-application-remotely-on-a-spark-cluster-using-livy
謝謝！在Ambari視圖中找到該設置。你知道這個數字是否可以設置爲「無限」？ – KangarooWest