劃分的RDD與固定數目的元素的分區中的每個分區

Question

在Apache中火花，

repartition(n) - 允許將所述RDD成恰好n分區。

但是，如何將給定的RDD分區爲分區，以便所有分區（最後一個分區的例外）都具有指定數量的元素。鑑於RDD中的元素數量未知，並且.count()的成本很高。

C = sc.parallelize([x for x in range(10)],2) 
Let's say internally, C = [[0,1,2,3,4,5], [6,7,8,9]] 
C = someCode(3) 

預計：

C = [[0,1,2], [3,4,5], [6, 7, 8], [9]] 

Answer 1

在pyspark很簡單：

C = sc.parallelize([x for x in range(10)],2) 
    rdd = C.map(lambda x : (x, x)) 
    C_repartitioned = rdd.partitionBy(4,lambda x: int(x *4/11)).map(lambda x: x[0]).glom().collect() 
    C_repartitioned 

    [[0, 1, 2], [3, 4, 5], [6, 7, 8], [9]] 

這就是所謂的自定義分區。 更多的是：http://sparkdatasourceapi.blogspot.ru/2016/10/patitioning-in-spark-writing-custom.html

http://baahu.in/spark-custom-partitioner-java-example/