2016-11-14 52 views
0

我是新來的火花。我正在嘗試使用Gradle構建Spark,如下所示:Spark應用程序無法使用火花芯罐構建2.0.1

編譯組:'org.apache.spark',名稱:'spark-core_2.10',版本:'2.0.1' 編譯組:'org.apache.spark',名稱:'spark-sql_2.10',版本:'2.0.1'

我收到以下錯誤: 錯誤:對象UserDefinedFunction不是包org的成員。 apache.spark.sql

[ant:scalac] import org.apache.spark.sql.UserDefinedFunction._ 
[ant:scalac]       ^
[ant:scalac] error: bad symbolic reference. A signature in HiveContext.class refers to type Logging 
[ant:scalac] in package org.apache.spark which is not available. 

雖然相同的代碼構建完美的,當我在我的gradle這個編譯使用的jar 1.6:

compile group: 'org.apache.spark', name: 'spark-core_2.10', version: '1.6.0' 
    compile group: 'org.apache.spark', name: 'spark-sql_2.10', version: '1.6.0' 

我解壓縮了jar 2.0.1,發現UserDefinedFunction函數不可用,而它在1.6中可用。

請指教。我怎樣才能解決這個問題,並將我的代碼庫升級到jar 2.0.1?

謝謝。

回答