多個Apache火花版本與cassandra

Question

我正在使用spark-cassandra連接器。我已經安裝了Spark 1.3.1和Cassandra 2.0.14。出於某種原因想要嘗試Spark 1.2.2。我應該如何配置我的elipse java項目來使用spark 1.2.2而不是1.3.1。 這是唯一的配置設置應用程序：

 String cassandraHost = "127.0.0.1"; 
    SparkConf conf = new SparkConf(true); 
    conf.set("spark.cassandra.connection.host", cassandraHost); 
    conf.set("spark.cleaner.ttl", "3600"); 
    conf.setMaster("local"); 
    conf.setAppName(appName); 

    JavaSparkContext context = new JavaSparkContext(conf); 

Answer 1

我想你應該創建一個Maven項目，並宣佈火花依賴的版本，像這樣的屬性：

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_${scala.binary.version}</artifactId> 
    <version>${spark.version}</version> 
    <scope>provided</scope> 
</dependency> 

你之前更改相應的spark.version建立一個罐子。

或者，你可以創建兩個配置文件來覆蓋上述spark.version屬性：

<profile> 
    <id>spark-1.2</id> 
    <properties> 
    <spark.version>1.2.2</spark.version> 
    </properties> 
</profile> 
<profile> 
    <id>spark-1.3</id> 
    <properties> 
    <spark.version>1.3.1</spark.version> 
    </properties> 
</profile> 

，並相應地使用不同的配置文件。