星火多維RDD分區

Question

如果我創建了兩個RDDS這樣的：

a = sc.parallelize([[1 for j in range(3)] for i in xrange(10**9)]) 

b = sc.parallelize([[1 for j in xrange(10**9)] for i in range(3)]) 

當你去想它劃分第一個是直觀的，十億行劃分周圍的工人。 但第二個有3行，每行有十億個項目。

我的問題是：對於第二行，如果我有2個工人，一行是去一個工人，另外兩行去另一個工人？

Answer 1

Spark中的數據分佈僅限於用於創建RDD的頂級序列。

根據第二種情況下的配置，您最多會得到三個非空分區，每個分區都分配給單個工作人員，因此在第二種情況下1-2分離可能是結果。

一般而言，少量的元素，特別是非常大的元素，並不適合Spark處理模型。