Spark監控YARN集羣模式下的REST API

當Spark以YARN集羣模式部署時，應如何發佈Spark監控REST API調用http://spark.apache.org/docs/latest/monitoring.html？Spark監控YARN集羣模式下的REST API

是否YARN有需要的REST調用例如一個API（我已經知道APP-ID）

http://localhost:4040/api/v1/applications/[app-id]/jobs

，其代理到正確的驅動程序端口，並返回JSON還給我？「我」是指我的客戶。

假設（或已經設計）由於安全原因，我無法直接與驅動程序機器交談。

2016-10-01 jasonw

你得到的底部這個？我目前遇到了同樣的問題 - 當Spark應用程序被提交和管理時，如何使用歷史服務器API（[host]：18089：/ api/v1/applications/[app-id/jobs）來獲取作業信息通過紗？使用Yarn時，歷史服務器API提供與Spark應用程序相關的數據，但在應用程序完成之前不提供作業。但是，在Spark獨立模式下，當應用程序運行時，History Server API會提供與作業相關的近實時數據。 – steswinbank

請看看spark docs - REST API

除了在UI觀看的指標，它們也可作爲JSON。這爲開發人員提供了一種爲Spark創建新的可視化和監視工具的簡單方法。 JSON可用於正在運行的應用程序和歷史記錄服務器中。端點安裝在/ api/v1。例如，對於歷史記錄服務器，它們通常可以通過http：//：18080/api/v1進行訪問，對於正在運行的應用程序，則可以通過http://localhost:4040/api/v1進行訪問。

這些都是可用的其他選項..

李維jobserver

提交Spark jobs remotely to an Apache Spark cluster Linux using Livy

其他選項包括

Triggering spark jobs with REST

來源

2016-10-01 06:38:09

Spark監控YARN集羣模式下的REST API

回答

相關問題