火花數據幀reducebykey像操作

Question

我有下列數據的火花數據幀（I使用火花CSV加載在數據）：

key,value 
1,10 
2,12 
3,0 
1,20 

有任何類似的火花RDD reduceByKey其可以返回一個火花數據框爲：（基本上，總結了相同的密鑰值）

key,value 
1,30 
2,12 
3,0 

（我可以將數據轉化爲RDD並做了reduceByKey操作，但有一個更星火據幀API的方式來做到這一點？）

Answer 1

如果你不關心你可以使用之後sumgroupBy列名：

df.groupBy($"key").sum("value") 

否則最好是更換sum與agg：

df.groupBy($"key").agg(sum($"value").alias("value")) 

最後，您可以使用原始SQL：

df.registerTempTable("df") 
sqlContext.sql("SELECT key, SUM(value) AS value FROM df GROUP BY key")