2016-12-19 22 views
0

假設我們有一個RDD rddBefore,在某些映射操作後變爲rddAfter。一個分區partitionBeforerddBefore對應於partitionAfterrddAfter分區在RDD.zip()操作之後分佈在哪裏

由於火花可能在計算過程中降低地域性,因此partitionBeforepartitionAfter可以分佈在不同的機器上,比如m1m2

rddBefore.zip(rddAfter)之後,哪臺機器將(partitionBefore, partitionAfter)分配到?

感謝

回答

1

有兩種可能的情況:作爲優選的孩子

  • 如果preferredLocations父母雙方重疊這些位置將被使用。
  • 否則使用preferredLocations的聯合(沒有父母是首選)。