2016-08-22 97 views
3

有沒有辦法讓駕駛員復位火花蓄電池,這樣執行器蓄電池也會被清洗。火花蓄電池復位

我有一個累加器,它實際上是一個List> 所有執行器都將元組添加到累加器中,驅動程序讀取它。 問題是執行者堆被填充。

當驅動程序讀取所有數據時,執行程序不需要本地數據。

感謝

回答

0

我不知道你們有沒有試過用蓄電池的公共方法setValue()司機重置累加器。

您可能能夠利用這一點,即setValue()方法,重置累加器到更小的物體值(例如,無論您的蓄壓式的‘零’的目標是,或‘空’如果你確定累加器將不會被再次訪問)。

from https://issues.apache.org/jira/browse/SPARK-3885