分區在RDD.zip（）操作之後分佈在哪裏

Question

假設我們有一個RDD rddBefore，在某些映射操作後變爲rddAfter。一個分區partitionBefore在rddBefore對應於partitionAfter在rddAfter。

由於火花可能在計算過程中降低地域性，因此partitionBefore和partitionAfter可以分佈在不同的機器上，比如m1和m2。

rddBefore.zip(rddAfter)之後，哪臺機器將(partitionBefore, partitionAfter)分配到？

感謝

Answer 1

有兩種可能的情況：作爲優選的孩子

• 如果preferredLocations父母雙方重疊這些位置將被使用。
• 否則使用preferredLocations的聯合（沒有父母是首選）。