火花數據框中：如何通過每一個ID爆炸一IntegerType列

Question

val schema = StructType(Array(StructField("id", IntegerType, false),StructField("num", IntegerType, false))) 

我想從0生成連續數NUM 我不知道該怎麼辦.. 感謝

data and result here !!!

Answer 1

您可以使用UDF和explode功能：

import org.apache.spark.sql.functions.{udf, explode} 

val range = udf((i: Int) => (0 to i).toArray) 
df.withColumn("num", explode(range($"num"))) 

Answer 2

嘗試DataFrame.explode：

df.explode(col("id"), col("num")) {case row: Row => 
    val id = row(0).asInstanceOf[Int] 
    val num = row(1).asInstanceOf[Int] 
    (0 to num).map((id, _)) 
} 

還是在RDD土地，你可以使用flatmap這個：

df.rdd.flatMap(x => (0 to x._2).map((x._1, _)))