如何在獨立模式下的不同工作節點上運行多個Spark應用程序？

Question

1.I已經添加了這些線./conf/spark.env.sh

**export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=1" 
export SPARK_WORKER_OPTS="-Dspark.deploy.defaultCores=1" 
export SPARK_WORKER_CORES=1 
export SPARK_WORKER_MEMORY=1g 
export SPARK_WORKER_INSTANCES=7** 

2.I並運行在終端

./sbin/start-all.sh

這個代碼

3，所有的工人和高手都started..i可以看到，網頁UI

4.after，我提交了多個火花應用

對於一個應用程序只需要2秒 但是對於6個應用程序，每個應用程序需要8秒

這是我在終端上運行的.sh文件。

gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 41' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 42' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 43' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 44' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 45 ' -x 'excute' & 
gnome-terminal -e '/home/uvionics/Downloads/spark-SparkR-streaming/bin/spark-submit --master spark://uvionics-Aspire-E5-001:7077 --executor-memory 1g --executor-cores 1 --num-executors 1 /home/uvionics/code/inter11.R 46' -x 'excute' 

當我做了我運行這些代碼的時間超過8秒

我認爲每個應用程序在主機上運行...... 我想在火花的每個內核運行的平行應用。 。 我該如何平行運行多個火花應用？

Answer 1

我想，你正在一臺服務器上運行所有的工作人員來模擬一個集羣。

執行程序核心與普通核心不同。

執行程序核心數是執行程序可以運行的並行任務數。 工作者核心 - 讓工作人員運行的是「CPU核心」。

在Spark中，可以選擇設置啓動從站時的CPU內核數量，從而定義允許Spark應用程序在機器上僅在worker上使用的總CPU內核數量。 默認爲：使用所有可用的核心

的命令來啓動星火會是這樣的： ./sbin/start-all.sh --cores 2

或者你可以用--executor-cores 2