Apache Spark Accumulable addInPlace需要返回R1？或者任何價值？

Question

From the Spark source code for Accumulable is the addInPlace method從不同的分區合併相同累加的值：

/** 
* Merge two accumulated values together. Is allowed to modify and return the first value 
* for efficiency (to avoid allocating objects). 
* 
* @param r1 one set of accumulated data 
* @param r2 another set of accumulated data 
* @return both data sets merged together 
*/ 
def addInPlace(r1: R, r2: R): R 

我假設我能回到我想要的任何數值，當我在我的實現AccumulableParam的定義addInPlace。我正在假設我傳入的任何指針，因爲r1會指向我返回的任何內容。

我的老闆認爲傳入的r1是返回語句中唯一允許的東西。這聽起來是Ann-Landers-ish，誰是對的？

有一種情況是我只想丟棄r1並將其替換爲r2中的對象，這將是此合併累加器的新值。

我可以直接返回r2嗎？或者我必須對r1進行深層複製，因爲我的（更多的Java編程經驗）老闆認爲？要明確的是，雖然Spark當然是用Scala編寫的，但我正在用Java編寫一個實現AccumulableParam的類。

Answer 1

作爲執行摺疊式操作時的經驗法則，您應該從不修改第二個參數。我們可以用一個簡單的例子來說明原因。讓我們假設我們有這樣簡單的累加器：

import org.apache.spark.AccumulatorParam 
import scala.collection.mutable.{Map => MMap} 

type ACC = MMap[String, Int] 

object DummyAccumulatorParam extends AccumulatorParam[ACC] { 
    def zero(initialValue: ACC): ACC = { 
    initialValue 
    } 

    def addInPlace(acc: ACC, v: ACC): ACC = { 
    v("x") = acc.getOrElse("x", 0) + v.getOrElse("x", 0) 
    v 
    } 
} 

這是特別有用，但沒關係。點是它修改了第二個參數。讓我們看看它是否有效：

val rdd = sc.parallelize(Seq(MMap("x" -> 1), MMap("x" -> 1), MMap("x" -> 1)), 1) 

val accum1 = sc.accumulator(MMap("x" -> 0))(DummyAccumulatorParam) 
rdd.foreach(x => accum1 += x) 

accum1.value 
// scala.collection.mutable.Map[String,Int] = Map(x -> 3) 

到目前爲止好。我們甚至可以創造一個又一個，它窗臺按預期工作：

val accum2 = sc.accumulator(MMap("x" -> 0))(DummyAccumulatorParam) 
rdd.foreach(x => accum2 += x) 

accum2.value 
// scala.collection.mutable.Map[String,Int] = Map(x -> 3) 

現在讓緩存中的數據：

rdd.cache 

重複的過程：

val accum3 = sc.accumulator(MMap("x" -> 0))(DummyAccumulatorParam) 
rdd.foreach(x => accum3 += x) 

val accum4 = sc.accumulator(MMap("x" -> 0))(DummyAccumulatorParam) 
rdd.foreach(x => accum4 += x) 

，並檢查蓄電池值：

accum4.value 
// scala.collection.mutable.Map[String,Int] = Map(x -> 6) 

and RD D內容：

​​

因此，您可以看到返回或修改第二個參數並不安全。它也適用於其他類似的操作，如fold或aggregate。