強制Spark在所有YARN執行程序上分配任務

我有一個包含5個節點的Spark集羣。但是當我運行一個應用程序時，只使用了2個執行程序。如何向所有執行者分配任務？強制Spark在所有YARN執行程序上分配任務

spark tasks

（這些並不總是所使用的相同的圖2，但是從不超過2）

2015-10-07 etig

你是如何執行這項工作的？請提供啓動腳本或代碼。 – emeth

數據：**輸入大小/記錄：1146.9 KB/9292 **（我嘗試了其他應用程序與800MB的輸入數據，我有同樣的問題）。我執行這樣的工作：'./bin/spark-submit --class com.test.RunApp - 主要紗線羣集app.jar'。 – etig

紗默認使用2個核。您必須設置num-executors，並且也應該查看executor-cores選項。

來源

2015-10-07 13:41:50

參數'--num-executors n'的作品。或者'spark.dynamicAllocation.enabled'更好（請參閱https://spark.apache.org/docs/latest/job-scheduling.html#configuration-and-setup） – etig

強制Spark在所有YARN執行程序上分配任務

回答

相關問題