多重火花驅動程序的Java選項提交

Question

我使用的火花提交的bash腳本指定爲：

CLUSTER_OPTIONS=" \ 
--master yarn-cluster \ 
--files  file:///${CONF_DIR}/app.conf#app.conf,file:///${CONF_DIR}/log4j-executor.xml#log4j.xml \ 
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.xml" \ 
--driver-java-options '-Dlog4j.configuration=file:log4j.xml -Dconfig.file=app.conf' \ 
--keytab ${KEYTAB} \ 
--principal ${PRINCIPAL} \ 
" 

我發現該應用的conf沒有被拾起，因爲我收到此錯誤：

Error: Unrecognized option: -Dconfig.file=file:app.conf' 

我也嘗試不同的方式來封裝驅動程序的Java選項：

1）

--driver-java-options \"-Dlog4j.configuration=file:log4j.xml -Dconfig.file=app.conf\" \ 

Error: Unrecognized option: -Dconfig.file=file:app.conf" 

2）

--driver-java-options "-Dlog4j.configuration=file:log4j.xml -Dconfig.file=file:transformation.conf" \ 


./start_app.sh: line 30: -Dconfig.file=file:app.conf --keytab /app/conf/keytab/principal.keytab --principal principal : No such file or directory 

我怎麼可以指定多個驅動程序的Java選項供我星火應用程序？

N.B.我使用的Spark 1.5.0

Answer 1

嘗試使用：

--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.xml -Dconfig.file=app.conf" 

在我而言，它的偉大工程沿--files，你用它

您可能需要添加：

--conf "spark.executor.extraJavaOptions=...." 

如果文件是從執行者

希望它能幫助訪問， 註冊ards