如何映射每行獲得多輸出RDD

Question

給定的輸入RDD或形式

1: 6 7 
2: 5 

我怎樣才能形式的另一個RDD

1 6 
1 7 
2 5 

等..

Answer 1

如果我假設你的初始輸入是在一個文本文件中，那麼你可以調用兩個這樣的地圖函數：

data = sc.textFile("textfile_location") 
data = data.map(lambda line: (line.split(":")[0], line.split(":")[1].split())) 
data = data.flatMap(lambda key, values: [(key, value) for value in values]) 

Answer 2

我對RDD的工作原理並不十分清楚，但你說它可以變成dict。所以我們可以說，你有以下字典：

d = {1: [6, 7], 2: [5]} 

而且假設你想寫一個信息到一個文件：

1 6 
1 7 
2 5 

這是可以實現如下：

with open('path/to/output', 'w') as outfile: 
    for k in sorted(d): 
     for v in d[k]: 
      outfile.write("{}\t{}\n".format(k, v))