0
我是新來的火花。我正在嘗試使用Gradle構建Spark,如下所示:Spark應用程序無法使用火花芯罐構建2.0.1
編譯組:'org.apache.spark',名稱:'spark-core_2.10',版本:'2.0.1' 編譯組:'org.apache.spark',名稱:'spark-sql_2.10',版本:'2.0.1'
我收到以下錯誤: 錯誤:對象UserDefinedFunction不是包org的成員。 apache.spark.sql
[ant:scalac] import org.apache.spark.sql.UserDefinedFunction._
[ant:scalac] ^
[ant:scalac] error: bad symbolic reference. A signature in HiveContext.class refers to type Logging
[ant:scalac] in package org.apache.spark which is not available.
雖然相同的代碼構建完美的,當我在我的gradle這個編譯使用的jar 1.6:
compile group: 'org.apache.spark', name: 'spark-core_2.10', version: '1.6.0'
compile group: 'org.apache.spark', name: 'spark-sql_2.10', version: '1.6.0'
我解壓縮了jar 2.0.1,發現UserDefinedFunction函數不可用,而它在1.6中可用。
請指教。我怎樣才能解決這個問題,並將我的代碼庫升級到jar 2.0.1?
謝謝。