無法設置在配置火花提交

我想用下面設置的應用程序JAR主網址：無法設置在配置火花提交

val spark = SparkSession 
    .builder() 
    .master("spark://master:7077") 
    .appName("TestApp") 
    .config("spark.sql.warehouse.dir", "/tmp/spark-warehouse") 
    .getOrCreate()

我嘗試運行具有以下參數的jar：

spark-submit -—num-executors 10 -—executor-memory 5G appJar.jar

spark-submit不包含提供給jar的顯式選項。當在應用程序jar中設置主URL時，其他配置將被忽略？有人可以解釋這個嗎？

來源

2017-05-14 sjuggernaut

是什麼在'NUM-executors'和'執行-memory'前面的人物？你如何檢查選項是否被考慮？ –

爲了檢查spark配置，你可以嘗試以下方法：logger.info（「spark config：」+ sparkConf.toDebugString（））;下面 –

@JacekLaskowski 是我做的 '火花提交SparkArgs.jar --master火花：// sparkmaster：7077 --executor-4G內存--num執行人2' 我檢查這個Web UI： '芯：無限制（80批）'' 執行人限制：無限制（授予5）'' 執行人內存：1024.0 MB' 我的代碼是相當簡單： 'VAL火花= SparkSession.builder（）。 master（masterURL）.appName（「Test Spark Args」）。getOrCreate（） println（「Application id：」+ spark.sparkContext.applicationId） spark.stop（）' – sjuggernaut

我認爲正確的做法是讓 -

spark-submit --num-executors 10 --executor-memory 5G appJar.jar

來源

2017-05-14 17:48:05

無法設置在配置火花提交

回答

相關問題