4040和8080上的Web UI有什麼區別？

有兩種不同的Web UI（一種僅適用於獨立模式）。當我以獨立模式啓動Spark時，可以在端口4040上使用Web UI嗎？（例如：spark-class.cmd org.apache.spark.deploy.master.Master - web ui 8080正在工作，4040 - 沒有。）這些UI之間的主要區別是什麼？4040和8080上的Web UI有什麼區別？

是否可以啓動Spark（沒有hadoop，hdfs，yarn等），保持它並將我的罐子（類）提交給它？我想在完成後觀看工作統計。我試圖這樣：

Server: Spark\bin>spark-class.cmd org.apache.spark.deploy.master.Master 
Worker: Spark\bin>spark-class.cmd org.apache.spark.deploy.worker.Worker spark://169.254.8.45:7077 --cores 4 --memory 512M 
Submit: Spark\bin>spark-submit.cmd --class demo.TreesSample --master spark://169.254.8.45:7077 file:///E:/spark-demo/target/demo.jar

它運行。它在端口4040上獲得新的WebUI以完成此任務。我沒有看到任何東西在8080主人的用戶界面。

目前我使用的是win7 x64，spark-1.5.2-bin-hadoop2.6。如果它很重要，我可以切換到Linux。

來源

2016-01-03 IgorZ

你應該能夠改變獨立主站的Web UI端口使用spark.master.ui.port或SPARK_MASTER_WEBUI_PORT，如Configuring Ports for Network Security/Standalone mode only中所述。

獨立主站的Web UI是集羣管理器（恰好是Apache Spark的一部分，但可能與Hadoop YARN和Apache Mesos一樣是獨立產品）的管理控制檯。話雖如此，它通常會混淆兩個網絡用戶界面的共同點，答案是什麼。

Spark驅動程序的Web UI將顯示計算進度（作業，階段，RDD持久性存儲，廣播，累加器），而獨立主站的Web UI則讓您知道「操作環境」的當前狀態，（又名Spark Standalone羣集）。

我把關於歷史記錄服務器的問題的其他部分保留爲@Sumit's answer。

來源

2016-01-04 08:48:25

是的，您可以將Spark作爲獨立服務器啓動，不需要任何Hadoop或HDFS。另外，只要您將作業提交給主人，它就會在「正在運行的作業」或「作業已完成」部分顯示您的作業。

您還可以啓用歷史服務器在稍後的時間維護工作統計和分析相同的 -

./sbin/start-history-server.sh

參考Here更多細節上使歷史服務器

來源

2016-01-04 02:40:03 Sumit

謝謝，明白了。 – IgorZ

4040和8080上的Web UI有什麼區別？

回答

相關問題