將生成的Rdd轉換爲HashMap

Question

我需要將rdd轉換爲hashMap。我有在RDD數據象下面這樣：

（水果，列表（蘋果，香蕉，芒果））（蔬菜，列表（馬鈴薯，番茄））

我有低於當前代碼

object JsonParse { 

def main(args: Array[String]){ 


val sc = new SparkContext(new SparkConf().setAppName("JsonParse").setMaster("local")) 

val arr = Array(("FRUIT",List("Apple","Banana","Mango")),("VEGETABLE", List("Potato","Tomato"))) 

val Rdd = sc.parallelize(arr) 

如何繼續？

Answer 1

嘗試

rdd.collect.toMap 

將其轉換爲一個Map。 Action collect將rdd的內容本地收集到主節點。

Answer 2

rdd.collectAsMap() // Map(VEGETABLE -> List(Potato, Tomato), FRUIT -> List(Apple, Banana, Mango))