火花提交時覆蓋集羣URL

我寫了一個由SBT作爲JAR打包的Spark應用程序。 JAR應該部署在一個集羣上。我也希望能夠以本地模式運行程序sbt run。目前我使用火花提交時覆蓋集羣URL

val spark = SparkSession 
     .builder 
     .master(args(0)) 
     .getOrCreate()

創建我SparkSession。我可以在我的./bin/spark-submit命令中使用--master myclusterurl來寫.master("local")並覆蓋"local"嗎？

2016-11-17 Make42

只需使用--master URL和SparkConf：

SparkSession.builder.config(new SparkConf()).getOrCreate

2016-11-17 15:32:35

回答