6
是否有可能在運行時更改Spark中執行程序內存的值?我想這樣做的原因是,對於某些地圖任務,我希望紗線調度程序將每個任務放在一個單獨的節點上。通過將執行程序內存增加到接近節點的總內存,我確保它們分佈在每個節點上。稍後,我想爲每個節點運行多個任務,因此我會降低它們的執行程序內存。我可以在運行時更改Spark的執行程序內存嗎?
是否有可能在運行時更改Spark中執行程序內存的值?我想這樣做的原因是,對於某些地圖任務,我希望紗線調度程序將每個任務放在一個單獨的節點上。通過將執行程序內存增加到接近節點的總內存,我確保它們分佈在每個節點上。稍後,我想爲每個節點運行多個任務,因此我會降低它們的執行程序內存。我可以在運行時更改Spark的執行程序內存嗎?
不,你不能。
每個執行程序都在它們自己的JVM上啓動,並且在運行時不能更改JVM內存。請參閱參考:Setting JVM heap size at runtime