火花廣播與Singleton封裝

Question

我是Spark的新手，我正在嘗試瞭解使用單播封裝的廣播變量的優點。 我知道Spark還試圖使用高效的廣播算法來分發廣播變量以降低通信成本 - 但是讓我們假設這種情況只發生在長時間的活動應用程序上，因此不是開銷。

每個任務都會持有singelton的副本還是隻有執行者本身？

我想了解它如何與單身人士合作並將其與廣播進行比較。

如果這個問題重演，請讓我知道，因爲我沒有找到答案。

Answer 1

每個任務都會持有singelton的副本還是隻有執行者本身？

每位工作人員都保存廣播變量的單個緩存副本。所有需要訪問廣播變量的任務都會查詢該工作人員駐留的相同副本。是的，它是每個工作人員的單個副本，但不是JVM級別的單身人員，因爲它的生命週期由BroadcastManager和ContextCleaner管理。

這本書在這裏很好地描述了https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-broadcast.html看看它在那張圖中描繪得有多好。