1
我在ec2集羣上運行spark工作，我有一個定期提交作業的觸發器。如果一個作業已經在羣集上運行，我不想提交作業。有沒有可以提供這些信息的API？如何在集羣上運行spark工作遠程瞭解如何在集羣上運行spark工作
A
回答
1
星火，並推而廣之，星火流提供在http://<host>:4040/api/v1
操作REST API諮詢當前應用程序的狀態會給你所尋找的信息。
檢查文檔：https://spark.apache.org/docs/2.1.0/monitoring.html#rest-api
0
可以諮詢UI看狀態 如。 如果您在本地運行，請查看localhost：4040
相關問題
- 1. 如何在Spark集羣上運行Spring引導應用程序
- 2. 如何在遠程YARN羣集上運行Flink作業
- 3. 如何從sbt在ec2上運行spark集羣？
- 4. 在Mesos羣集上運行多個Spark作業
- 5. 在DSE 4.8 Spark羣集上運行Python作業時出錯。
- 6. 在hadoop集羣上安裝spark集羣
- 7. 在羣集上運行速度非常慢的Spark程序
- 8. 多節點火花集羣上的spark-shell無法在遠程工作節點上運行sponser execution
- 9. 如何在PC羣集上運行VMWare？
- 10. 如何在AWS羣集上運行TensorFlow？
- 11. 無法在Spark 1.4.1b羣集上啓動spark-shell羣集
- 12. 在羣集上運行openmp
- 13. 如何使用Spark 1.6在集羣上運行與Spark 2.1組裝的Spark應用程序？
- 14. Spark Streaming：mapWithState函數如何在集羣中工作？
- 15. SPARK_RPC_CLIENT_CONNECT_TIMEOUT在Spark上運行Hive - YARN集羣模式
- 16. Spark Hive報告pyspark.sql.utils.AnalysisException：u'Table not found：XXX'在紗線羣集上運行時
- 17. 在YARN上運行時，Spark調度程序池如何工作？
- 18. Spark工作人員無法在EC2羣集上找到JAR
- 19. Spark代碼可以在沒有spark提交的集羣上運行嗎？
- 20. 如何在10個節點集羣上運行Spark SqlSql數據庫
- 21. 如何在Mesos上運行Spark Spark shell？
- 22. 在MPI羣集上運行C程序
- 23. Spark Streaming：在集羣模式下運行時無法收集（）DStream
- 24. weblogic集羣如何工作？
- 25. 在單個節點羣集上運行Hadoop時HDFS如何工作？
- 26. java.lang.NoClassDefFoundError：上運行Hadoop集羣
- 27. apache spark集羣
- 28. Mongrel羣集在Windows上並行運行
- 29. 如何在羣集模式下運行spark，但是在本地執行文件？
- 30. 如何在運行時交換服務器羣集和羣集