以本地模式運行火花應用程序

我試圖用spark-submit在本地模式下啓動我的Spark應用程序。我在Windows上使用Spark 2.0.2，Hadoop 2.6 & Scala 2.11.8。應用程序可以在我的IDE（IntelliJ）中正常運行，並且我還可以使用實際的物理執行程序在集羣上啓動它。以本地模式運行火花應用程序

我跑的命令是

spark-submit --class [MyClassName] --master local[*] target/[MyApp]-jar-with-dependencies.jar [Params]

星火像往常一樣啓動，但隨後

java.io.Exception: Failed to connect to /192.168.88.1:56370

終止缺少什麼我在這裏？

來源

2017-02-03 DNR

檢查哪個端口使用的是：如果集羣：登錄到主節點，包括：

--master spark://XXXX:7077

你總能找到它的火花UI下端口8080

還檢查檢查你的火花建設者的配置，如果你已經設置主已經爲它推出例如，當優先級：

val spark = SparkSession 
    .builder 
    .appName("myapp") 
    .master("local[*]")

來源

2017-02-03 15:08:30

運行本地本地機器，但火花上：// XXXX：7077從主節點 –

但我不是運行在集羣上，我想在本地機器上以本地模式運行它。當然，我不需要替換「本地[*]」呢？ – DNR

在這種情況下，在代碼中放置'val spark = SparkSession.builder.master（「local [*]」）'，並且不要在提交時使用--master，但是當您使用--master提交選項時，請確保您將'spark：xxx：7077'作爲主機：只需從localhost：8080 web ui複製，並且不要在主要方法 –

以本地模式運行火花應用程序

回答

相關問題