如何將（String，Array [String]）的RDD拆分爲數組中的每個項目的（String，String）的RDD？

Question

我有一個形式爲RDD[(String, Array[String])]的PairRDD。我想要將這些值展平，以便我有一個RDD[(String, String)]，其中第一個RDD的Array [String]中的每個元素都將成爲第二個RDD中的專用元素。

例如，我的第一個RDD具有以下元素：

("a", Array("x", "y")) 
("b", Array("y", "z")) 

我想結果是這樣的：

("a", "x") 
("a", "y") 
("b", "y") 
("b", "z") 

我怎樣才能做到這一點？ flatMapValues(f: Array[String] => TraverableOnce[String])似乎是在這裏正確的選擇，但我需要用什麼作爲參數f？

Answer 1

爲了達到預期的效果，這樣做：

val rdd1: RDD[(Any, Array[Any])] = ... 
val rddFlat: RDD[(Any, Any)] = rdd1.flatMapValues(identity[Array[Any]]) 

結果看起來像一個在問題提出的要求。