Apache Spark數量的執行程序

Question

我在數據庫上有Spark應用程序，它在32個節點的集羣上運行，每個16個內核和30GB內存。我想改變一些會話配置，但無論我改變了什麼，我都無法再讓更多的執行者，然後32（如執行者頁面上看到火花ui）？這些CONFIGS我已經改變了：

spark.executor.instances 
spark.executor.memory 
spark.executor.cores 

因爲我讀的併發任務最大數量應爲5，所以我想讓每個節點4個執行人，每使用4個核...執行人的總數 - 128 。 我怎樣才能做到這一點？

親切的問候， 斯特凡

Answer 1

對於Spark建立與最新版本，我們可以設置參數：--executor-cores和--total-executor-cores。總執行人將total-executor-cores/executor-cores

試試這個：

spark-submit --executor-memory 4g --executor-cores 4 --total-executor-cores 512