星火：如何提供「--properties文件」選項，在Eclipse IDE開發

Question

我用Eclipse來開發我的火花應用，從命令行運行時，我使用的命令是這樣的：

spark-submit --master yarn-client --driver-memory 4g --properties-file myAPP.conf .. 

我也可以直接從eclipse IDE運行我的主類，但任何人都可以建議，直接從IDE運行時如何給--properties-file選項。

感謝 阿洛克

Answer 1

配置文件添加到您的項目，並添加這些行

val configuration = new Configuration() 
    val conffile = getClass().getResourceAsStream("filepath"); 
    configuration.addResource(conffile) 

Answer 2

的屬性添加到屬性文件並通過該文件名作爲命令行參數。

在Scala/Java程序中使用文件名並將屬性添加到SparkConf。樣品階段如下所示

import java.io.FileInputStream 
import java.util.Properties 
import org.apache.spark.SparkConf 
import scala.collection.JavaConverters 

.... 

val properties: Properties = new Properties() 
properties.load(new FileInputStream("spark.properties")) 

val map = JavaConverters.propertiesAsScalaMapConverter(properties).asScala; 

val sparkConf = new SparkConf().setAppName("SampleJob").setAll(map) 

所有屬性名和值應在屬性格式即--driver-memory轉化爲spark.driver.memory。