Apache spark：我們如何將RDD [v]分成Map [k，RDD [v]]？

Question

groupByKey給了我RDD [鍵，值]我找不到任何方法將其轉換爲Map [key，RDD [values]]。 謝謝。

SV

Answer 1

AFAIK沒有星火原始的，它會讓你通過這樣的關鍵拆分RDD。我們正在使用過濾來實現類似的結果。性能方面，它必須比實際的groupByKey輕很多，因爲過濾器不需要洗牌。

val keys = rdd.keys.collect 
val dataByKey = keys.map(key => (key, rdd.filter(_._1 == key)).toMap 

請注意，密鑰必須適合驅動程序的內存才能正常工作。