如何通過livy殺死spark/yarn工作

Question

我正在嘗試通過livy使用rest api提交spark工作。但是，如果我多次運行同一個腳本，它會運行具有不同作業ID的多個工作實例。我正在尋找一種方法來殺死火花/紗線作業在開始一個新的之前運行同名。 livy文件（https://github.com/cloudera/livy#batch）刪除批量作業，但livy會話不返回應用程序名稱，只是應用程序id返回。

是否有另一種方法可以做到這一點？

Answer 1

當Livy服務器停止時處於活動狀態的會話可能需要手動終止。使用集羣管理器中的工具來實現（例如，yarn命令行工具）。

運行以下命令查找通過Livy啓動的交互式作業的應用程序ID。

紗應用-list

運行以下命令來殺死那些工作。

紗應用-KILL 「應用程序ID」

參見：「https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-known-issues#livy-leaks-interactive-session」。

Answer 2

您可以使用LivyClient API使用Livy Server提交spark任務。 LivyClient API有一個停止方法，可以用來殺死作業。

LivyClient.close（true）;