如何彙總列的值範圍內RDD

Question

我有以下行的RDD：

[(id,value)] 

您如何總結在RDD所有行的值？

Answer 1

只需使用sum，您只需將數據獲取到列表中即可。

例如

sc.parallelize([('id', [1, 2, 3]), ('id2', [3, 4, 5])]) \ 
    .flatMap(lambda tup: tup[1]) \ # [1, 2, 3, 3, 4, 5] 
    .sum() 

輸出18

同樣，只需使用values()來獲取第二列作爲它自己的RDD。

sc.parallelize([('id', 6), ('id2', 12)]) \ 
    .values() \ # [6, 12] 
    .sum()