2016-11-17 255 views
0

我寫了一個由SBT作爲JAR打包的Spark應用程序。 JAR應該部署在一個集羣上。我也希望能夠以本地模式運行程序sbt run。目前我使用火花提交時覆蓋集羣URL

val spark = SparkSession 
     .builder 
     .master(args(0)) 
     .getOrCreate() 

創建我SparkSession。我可以在我的./bin/spark-submit命令中使用--master myclusterurl來寫.master("local")並覆蓋"local"嗎?

回答

0

只需使用--master URL和SparkConf

SparkSession.builder.config(new SparkConf()).getOrCreate