reduceByKey在執行時會發生什麼？

Question

我的mapToPair函數產生下面的輸出。

（A，1） （A，1） （B，1）

我使用reduceByKey功能降低值和代碼如下：

private static final Function2<Integer, Integer, Integer> WORDS_REDUCER = 
     new Function2<Integer, Integer, Integer>() { 
     public Integer call(Integer a, Integer b) throws Exception { 
      return a + b; 
     } 
     }; 

它工作正常，有人可以向我解釋當代碼對（b，1）執行時代碼是如何工作的嗎？

Answer 1

我不太來自這個問題它是什麼，你不知道，但也許這將幫助...

reduceByKey與功能X + Y作爲累加器，總結每值清晰鍵。如果你只有一個特定鍵的值，那麼這個值就是總和結果。

下面是一個使用PySpark一個例子：

testrdd = sc.parallelize((('a', 1), ('a', 1), ('b', 1))) 
    testrdd = testrdd.reduceByKey(lambda x,y:x+y) 
    result = testrdd.collect() 
    print ("result: {}".format(result)) 

    >result: [('a', 2), ('b', 1)]