如何連接兩個RDDS互相排斥鍵

Question

說我有兩個星火RDDS具有以下值

x = [(1, 3), (2, 4)] 

和

y = [(3, 5), (4, 7)] 

，我想有

z = [(1, 3), (2, 4), (3, 5), (4, 7)] 

如何我可以做到這一點嗎？我知道你可以使用outerJoin和map來實現這一點，但是有沒有更直接的方法呢。

Answer 1

rdd.union(otherRDD)給你兩個RDDS的工會如預期中的問題

x.union(y)

Answer 2

您可以使用+運算符。在列表的上下文中，這是一個連接操作。

>>> x = [(1, 3), (2, 4)] 
>>> y = [(3, 5), (4, 7)] 
>>> z = x + y 
>>> z 
[(1, 3), (2, 4), (3, 5), (4, 7)]