如何訪問Spark Web UI？

我在本地運行4個節點的Spark應用程序。當我跑步時我的應用程序會顯示有此地址10.0.2.15我的司機：如何訪問Spark Web UI？

INFO Utils: Successfully started service 'SparkUI' on port 4040. 
INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://10.0.2.15:4040

在運行它的結尾顯示：

INFO SparkUI: Stopped Spark web UI at http://10.0.2.15:4040 
INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped! 
INFO MemoryStore: MemoryStore cleared 
INFO BlockManager: BlockManager stopped 
INFO BlockManagerMaster: BlockManagerMaster stopped 
INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped! 
INFO SparkContext: Successfully stopped SparkContext

我試圖訪問網絡星火： 10.0.2.15:4040但該頁面無法訪問。與下面的地址也沒有幫助嘗試：

http://localhost:18080

使用ping 10.0.2.15結果是：

Send a request 'Ping' 10.0.2.15 with 32 bytes of data 

Waiting time exceeded 

Waiting time exceeded 

Waiting time exceeded 

Waiting time exceeded 

Ping statistics for 10.0.2.15: Packages: sent = 4, received = 0, lost = 4 (100% loss)

經過使用netstat -a驗證哪些端口可用的端口4040的可用性。結果如下：

Active connexion: 

    Active  local address  Remote address      state 

    TCP   127.0.0.1:4040  DESKTOP-FF4U.....:0     Listening

PS：已知我的代碼運行成功。可能是什麼原因？

來源

2016-12-25 sirine

web ui僅在Spark應用程序運行時可訪問。一旦Spark應用程序完成了UI的使用。

要查看已完成和當前正在運行的Spark應用程序的日誌，您必須使用Spark History server。

來源

2016-12-25 18:41:54

謝謝，我在運行應用程序的同一時間檢查了http：// localhost：18080，但頁面無法訪問。我可以更改兩個文件中的配置：spark-defaults.conf，SparkConf？ – sirine

@sirine是的，你可以調整spark-defaults.conf中的配置。另外，如果我誤解了你的意思，只是爲了清楚：你需要單獨啓動歷史記錄服務器，如鏈接下所述。 –

我檢查了server-history-server.sh，sbin =「'dirname」$ 0「'」 sbin =「'cd」$ sbin「; pwd'」。「$ sbin/spark-config.sh」。「$ SPARK_PREFIX/bin/load-spark-env.sh」 if [$＃！= 0];那麼 echo「使用命令行參數設置日誌目錄已棄用，請參閱 echo」請改爲設置spark.history.fs.logDirectory配置選項。「出口SPARK_HISTORY_OPTS = 「$ SPARK_HISTORY_OPTS -Dspark.history.fs.logDirectory = $ 1」網絡的exec 「$ sbin目錄」 /spark-daemon.sh開始org.apache.spark.deploy.history.HistoryServer 1 我可以修改它呢？謝謝。 – sirine

如何訪問Spark Web UI？

回答

相關問題