無法連接到遠程系統

我嘗試連接通過Java應用程序引發遠程系統上的主上引發無法連接到遠程系統

我使用

<dependency> <!-- Spark dependency --> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.11</artifactId> 
      <version>2.0.1</version> 
</dependency>

和代碼

{ 
     SparkSession sparkSession = SparkSession.builder(). 
          master("spark://ip:7077") 
          .appName("spark session example") 
          .getOrCreate(); 
     JavaSparkContext sc = new JavaSparkContext(sparkSession.sparkContext()); 
    }

獲取

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object; 
    at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:713) 
    at org.apache.spark.sql.SparkSession$Builder.master(SparkSession.scala:766) 
    at com.mobelisk.spark.JavaSparkPi.main(JavaSparkPi.java:9)

另外I F I改變

<dependency> <!-- Spark dependency --> 
      <groupId>org.apache.spark</groupId> 
      <artifactId>spark-core_2.10</artifactId> 
      **<version>2.0.1</version>** 
     </dependency>

在同一節目越來越

產生的原因：了java.lang.RuntimeException：java.io.InvalidClassException：org.apache.spark.rpc.netty.RequestMessage;局部類不相容：流classdesc的serialVersionUID = -2221986757032131007，局部類的serialVersionUID = -5447855329526097695

在可用爲 'SC'（主控=本地[*]，應用程序ID的遠程

火花上下文火花殼=本地-1477561433881）。 Spark會話可用作'spark'。歡迎 ____ __ //_ _____// _ \/_/_`/ /'/ //.__/_，/// /_ \ 2.0.1版 //

使用Scala的版本2.11.8（Java的熱點（TM）64位服務器VM，Java的1.8.0_101）類型的表達式來讓他們評估。類型：help獲取更多信息。

由於我很新的這一切，我不能找出問題的程序

來源

2016-10-27 Aniruddha

我想通了，如果有人要採取類似的做法發佈這個。

我又增加了

<groupId>com.datastax.spark</groupId> 
      <artifactId>spark-cassandra-connector_2.10</artifactId> 
<version>2.0.0-M3</version>

附帶的Scala庫2.10.6

，但已經有一個階庫2.11。8火花核心

，所以我不得不排除較早的一個類似這樣的

<dependency> 
      <groupId>com.datastax.spark</groupId> 
      <artifactId>spark-cassandra-connector_2.10</artifactId> 
      <version>2.0.0-M3</version> 
      <exclusions> 
       <exclusion> 
        <artifactId>scala-library</artifactId> 
        <groupId>org.scala-lang</groupId> 
       </exclusion> 
       <exclusion> 
        <artifactId>scala-reflect</artifactId> 
        <groupId>org.scala-lang</groupId> 
       </exclusion> 
      </exclusions> 
</dependency>

現在一切正常

來源

2016-10-28 05:41:12 Aniruddha

-1

這星火版本不匹配：

你在項目中使用2.10。
羣集使用2.11

更新依賴於2.11。

來源

2016-10-27 10:49:06 6777bdc7

無法連接到遠程系統

回答

相關問題