0
我想在Spark工作完成後做一些清理工作,而我要做的工作取決於工作是否成功。如何判斷Spark工作是否成功?
那麼我怎樣才能得到這份工作的結果呢?
我已經試過SparkListener
,它在工作成功時工作正常,但如果工作失敗,監聽器似乎不會被調用。
我想在Spark工作完成後做一些清理工作,而我要做的工作取決於工作是否成功。如何判斷Spark工作是否成功?
那麼我怎樣才能得到這份工作的結果呢?
我已經試過SparkListener
,它在工作成功時工作正常,但如果工作失敗,監聽器似乎不會被調用。
您可以使用Spark HistoryServer的REST API來檢查作業的狀態。
在這裏你可以找到你需要的所有信息:
https://spark.apache.org/docs/latest/monitoring.html
請查看本[文件](http://arturmkrtchyan.com/apache-spark-hidden-rest-api) –