2017-04-04 233 views
1

我想在斯卡拉火花使用透視方法樞軸火花斯卡拉據幀

val dfOutput = df_input.groupBy("memberlogin").pivot("country_group2").count() 

然而,儘管同時在​​Eclipse中創建一個罐子裏, 同時執行火花,其給予沒有任何compliation錯誤誤差作爲 -
Exception in thread "main" java.lang.NoSuchMethodError:

org.apache.spark.sql.GroupedData.pivot(Ljava/lang/String;)Lorg/apache/spark/sql/GroupedData; 

我已導入所希望的庫,

import org.apache.spark.sql.GroupedData 
import org.apache.spark.sql.functions 

import sqlContext.implicits._ 

儘可能少的其他線程聲稱。

它不工作,無法理解,有人可以幫助或指導方向?

+0

什麼是您使用的火花的版本 –

+0

謝謝Indrajit :-)你的提示在這個問題上爲我工作。我在1.5版本的平行系統中運行它,只是升級它爲我工作。 –

+0

然後請接受答案,以便對其他人有所幫助 –

回答

0

Spark 1.6中添加了旋轉功能,它使創建數據透視表成爲可能,使用DataFrame(使用Scala,Java或Python)創建數據透視表。