如何在完成後設置在Spark UI上查看App

我試圖設置完成App後在Spark UI上查看。如何在完成後設置在Spark UI上查看App

我參考https://spark.apache.org/docs/latest/monitoring.html但我不知道如何設置詳細的Spark集羣。

我有一臺四臺計算機：一臺是主集羣，其餘是從集羣。

它寫在這個頁面上輸入這些命令。

spark.eventLog.enabled true 
spark.eventLog.dir hdfs://namenode/shared/spark-logs

做這些只需要在主羣集上輸入？或者我必須填寫所有的羣集？

我在spark-defaults.conf中都試過，但是我得到了同樣的錯誤當我運行spark應用程序。

failed on connection exception:java.net.ConnectException: Connection 
refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused.

任何想法？

來源

2017-03-14 S.Kang

你試過配置歷史服務器停止嗎？ – FaigB

您是否正在討論啓動一個類似'./sbin/start-story-server.sh'的服務器？ –

通過使用EventLoggingListener和使用Spark History Server來持久化事件，可以在應用程序完成後使用Web UI。

使用Spark History Server在瀏覽器中查看事件日誌。

啓用org.apache.spark.scheduler.EventLoggingListener記錄INFO日誌記錄級別裏面看到EventLoggingListener會發生什麼。

以下行添加到conf/log4j.properties：

log4j.logger.org.apache.spark.scheduler.EventLoggingListener=INFO

你可以通過執行start-history-server.sh shell腳本啓動歷史服務器，並使用stop-history-server.sh

來源

2017-03-14 09:32:32 FaigB

當我開始'start-history-server.sh'時。我在org.apache.spark.deploy.history.FsHistoryProvider上遇到了一個錯誤'無法啓動org.apache.spark.deploy.history.HistoryServer：。（FsHistoryProvider.scala：75） ... 6更多 ' –

如何在完成後設置在Spark UI上查看App

回答

相關問題