Spark GroupBy聚合函數

case class Step (Id : Long, 
       stepNum : Long, 
       stepId : Int, 
       stepTime: java.sql.Timestamp 
       )

我有一個數據集[步驟]，我想對「Id」列執行groupBy操作。我的輸出應該看起來像Dataset [（Long，List [Step]）]]。我該怎麼做呢？Spark GroupBy聚合函數

可以說變量「inquiryStepMap」是一個類型的數據集[步驟]然後，我們可以按照如下

val inquiryStepGrouped: RDD[(Long, Iterable[Step])] = inquiryStepMap.rdd.groupBy(x => x.Id)

來源

2017-08-24 nag

看來你需要groupByKey與RDDS做到這一點：

樣品：

import java.sql.Timestamp  
val t = new Timestamp(2017, 5, 1, 0, 0, 0, 0)  
val ds = Seq(Step(1L, 21L, 1, t), Step(1L, 20L, 2, t), Step(2L, 10L, 3, t)).toDS()

groupByKey然後mapGroups：

ds.groupByKey(_.Id).mapGroups((Id, Vals) => (Id, Vals.toList)) 
// res18: org.apache.spark.sql.Dataset[(Long, List[Step])] = [_1: bigint, _2: array<struct<Id:bigint,stepNum:bigint,stepId:int,stepTime:timestamp>>]

而結果是這樣的：

ds.groupByKey(_.Id).mapGroups((Id, Vals) => (Id, Vals.toList)).show() 
+---+--------------------+ 
| _1|     _2| 
+---+--------------------+ 
| 1|[[1,21,1,3917-06-...| 
| 2|[[2,10,3,3917-06-...| 
+---+--------------------+

來源

2017-08-24 22:59:49 Psidom

Spark GroupBy聚合函數

回答

相關問題