紗線上的Spark作業的應用程序執行監控

我可以在Spark獨立模式下的Web UI上詳細查看應用程序執行信息，但是當涉及到紗線時，它就消失了。那麼，當工作在紗線上運行時，我可以在哪裏看到執行信息？紗線上的Spark作業的應用程序執行監控

來源

2016-05-12 Xingjun Wang

你可以debug your application，但我想這裏沒有專門的UI。

來源

2016-05-12 07:58:18 RoyaumeIX

你也可以通過Spark的歷史記錄服務器 http：//重建完成的應用程序的UI spark.apache.org/docs/latest/monitoring.html#viewing-after-the-fact – RoyaumeIX

是的，執行歷史可以以這種方式顯示，我試圖找出這個問題。 –

您需要配置火花歷史服務器紗，然後再啓動它

在spark-defaults.conf文件中添加以下屬性，

spark.eventLog.enabled   true 
spark.eventLog.dir    hdfs://LOCATION/TO/SPARK/EVENT/LOG 

spark.yarn.historyServer.address  SPARK_HISTORY_SERVER_HOST 
spark.history.ui.port     SPARK_HISTORY_SERVER_PORT 

spark.yarn.services      org.apache.spark.deploy.yarn.history.YarnHistoryService 
spark.history.fs.logDirectory   hdfs://LOCATION/TO/SPARK/EVENT/LOG

然後啓動火花的歷史服務器：

$/PATH/TO/SPARK/sbin/start-history-server.sh

PS我假設Spark已經配置了hadoop/yarn（所以你已經在spark-env.sh中設置了配置文件的位置）

來源

2016-05-12 10:46:28 user1314742

紗線上的Spark作業的應用程序執行監控

回答

相關問題