使用SparkLauncher以編程方式將火花作業提交到dse火花集羣

Question

我對Spark和DSE比較新，我試圖以編程方式將火花作業提交到DSE火花集羣？

我正在使用org.apache.spark.launcher.SparkLauncher api。我試着按照SparkLauncher的文檔。

Process launcher = new SparkLauncher().setAppName("appName") 
        .setAppResource("spark-job.jar") 
        .setSparkHome("spark-home") 
        .setMainClass("main-class") 
        .setVerbose(true).launch(); 
launcher.waitFor(); 

但似乎並未在dse集羣上啓動作業。我可以使用以下方式手動觸發作業：dse spark-submit命令

請在這裏感謝任何幫助。謝謝 ！

Answer 1

我相信這與設置您的sparkHOme有關。確定你的火花回家在DSE，然後添加

.setSparkHome("sparkHomeDir") 

而你寧願使用SparkHandle而不是阻塞等待。

SparkAppHandle handle = launcher.startApplication();