爲我的Spark Streaming應用程序設置執行程序的數量

Question

我在Yarn集羣模式下運行Spark Streaming應用程序。我想限制執行者的數量只有一個節點？如何在Spark中做到這一點？

Answer 1

您可以通過兩種方式來控制執行器的數量：

Option 1:直接與星火發佈命令：

spark-submit -class ClassName --num-executors 1 .... other parameters 

Option 2:裏面的conf標誌星火發佈命令：

spark-submit --class ClassName --conf "spark.executor.instances=1" .... other parameters. 

你可以得到m礦石的詳細信息從Submitting Applications。