如何設置驅動程序的Java選項SparkLauncher

當使用提交星火應用紗，我可以通過--driver-java-options通過Java選項的驅動程序，例如：如何設置驅動程序的Java選項SparkLauncher

spark-submit --driver-java-options "-Dlog4j.configuration=file:///conf/log4j.properties" ...

如何實現相同的當通過SparkLauncher提交？特別是，有沒有辦法用Spark 1.4來實現它？

來源

2015-11-18 mitchus

不熟悉SparkLauncher，但從看它的代碼看，你可以通過setConf()配置。在這個如果你添加屬性SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS這應該有同樣的效果。

例如

Process spark = new SparkLauncher() 
    .setAppResource("/my/app.jar") 
    .setMainClass("my.spark.app.Main") 
    .setMaster("local[*]") 
    .setConf(SparkLauncher.DRIVER_EXTRA_JAVA_OPTIONS, "-Dmy.property=someval") 
    .launch();

來源

2015-11-20 22:19:25

你確定嗎？從https://spark.apache.org/docs/latest/configuration.html 「注意：在客戶端模式下，不能通過應用程序中的SparkConf直接設置此配置，因爲驅動程序JVM已在該點啓動。相反，請通過--driver-java-options命令行選項或在您的默認屬性文件中進行設置。「 – mathieu

我不認爲問題是指客戶端模式，SparkLauncher的tbh功能可能在版本1.4和2.1（在你的評論中鏈接的版本） –

如何設置驅動程序的Java選項SparkLauncher

回答

相關問題