在spark應用程序中，mapWithState在哪裏執行？

Question

在spark應用程序中，mapWithState在哪裏執行？ 它是在司機或執行者？

Answer 1

mapWithState在每個執行器上執行。這是一個洗牌階段，它使密鑰映射到執行者，然後每個執行者執行提供給StateSpec.function的狀態函數。