pyspark RDD擴大一行到多行

Question

我在pyspark以下RDD，我相信這應該是很簡單的事，但一直沒能弄明白：

information = [ (10, 'sentence number one'), 
       (17, 'longer sentence number two') ] 

rdd = sc.parallelize(information) 

我需要申請，輪流說RDD這個轉型：

[ ('sentence', 10), 
    ('number', 10), 
    ('one', 10), 
    ('longer', 17), 
    ('sentence', 17), 
    ('number', 17), 
    ('two', 17) ] 

基本上擴大了一句關鍵的，與字作爲鍵多行。

我想避免SQL。

Answer 1

使用flatMap：

rdd.flatMap(lambda x: [(w, x[0]) for w in x[1].split()]) 

例：

rdd.flatMap(lambda x: [(w, x[0]) for w in x[1].split()]).collect() 
# [('sentence', 10), ('number', 10), ('one', 10), ('longer', 17), ('sentence', 17), ('number', 17), ('two', 17)]