替換默認application.conf文件火花提交

我的代碼工作，如：替換默認application.conf文件火花提交

val config = ConfigFactory.load

它在默認情況下得到的鍵值對從application.conf。然後我使用-Dconfig.file =指向另一個conf文件。

它正常工作，下面的命令：

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf /home/user-jar-with-dependencies.jar

但現在我需要拆分userconfig.conf 2檔。我嘗試了下面的命令。它不起作用。

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf,env.conf 
    /home/user-jar-with-dependencies.jar

來源

2016-01-28 Hector

默認情況下，火花會看在defaults.conf但你可以1）使用「特性文件」 2）你可以使用--conf通過個人KEU值屬性指定其他文件或3），你可以設置在代碼中使用sparkConf對象以編程方式編程配置

這是否有幫助或者您正在尋找akka application.conf文件？

來源

2016-01-28 11:15:47 phact

我沒有明白你的意思。我有像（val config = ConfigFactory.load）這樣的代碼從application.conf中獲取k-v對。然後我使用-Dconfig.file =來替換默認的application.conf。現在我想將設置分成2個conf文件。 – Hector

替換默認application.conf文件火花提交

回答

相關問題