如何獲取每個Spark分區的最大密鑰？

Question

如果我們使用.reduce(max)那麼我們將在整個RDD中獲得最大的關鍵。我知道這種減少將在所有分區上運行，然後減少每個分區發送的這些項目。但是我們怎樣才能找回每個分區的最大關鍵？爲.mapPartitions()寫一個函數？

Answer 1

您可以：

rdd.mapParitions(iter => Iterator(iter.reduce(Math.max))) 

或

rdd.mapPartitions(lambda iter: [max(iter)]) 

在流媒體使用這種與DStream.trasform。