Spark：將RDD [（Long，Array [Double]）]轉換爲RDD [（Long，Long，Double）]

Question

我有一個RDD格式的每個條目（Long，Array [Double]）。例如：

val A = sc.parallelize([(0, [5.0, 8.3]), (1, [4.2, 1.2])]) 

我想變換到窗體：

[(0, 0, 5.0), (0, 1, 8.3), (1, 0, 4.2), (1, 1, 1.2)], 

其中在元組中的第二個元素是從數組的值的索引。

Answer 1

試試這個：

A.flatMap { case (first, dbls) => dbls.zipWithIndex.map { case (dbl, ix) => (first, ix.toLong, dbl) } } 

Answer 2

你可以這樣來做：

A.flatMap {case (v, arr) => arr.zipWithIndex.map {case (a, i) => (v, i, a)}}