SPARK_WORKER_INSTANCES設置在Spark獨立窗口中不起作用

Question

我試圖設置獨立的Spark 2.0服務器來並行處理分析功能。要做到這一點，我想運行8名員工，每個員工只有一個核心。但是，Spark Master/Worker UI似乎並未反映我的配置。

我使用：

• 獨立火花2.0
• 8個核24gig RAM
• Windows Server 2008的
• pyspark

spark-env.sh文件被配置爲如下：

SPARK_WORKER_INSTANCES = 8 
SPARK_WORKER_CORES = 1 
SPARK_WORKER_MEMORY = 2g 

火花defaults.conf被配置如下：

spark.cores.max = 8 

我啓動主：

：

spark-class org.apache.spark.deploy.master.Master 

我通過批處理文件內運行此命令8次啓動工

spark-class org.apache.spark.deploy.worker.Worker spark://10.0.0.10:7077 

問題是UI顯示如下：

正如你所看到的，每個worker都有8個內核而不是1個內核，我已經通過SPARK_WORKER_CORES設置分配了它。此外，內存反映了整個機器內存，而不是分配給每個工人的2g。我如何將Spark配置爲在獨立模式下爲每個工作者運行1核心/ 2g？

Answer 1

我解決了這個問題，將核心和內存參數添加到工作人員本身。

start spark-class org.apache.spark.deploy.worker.Worker --cores 1 --memory 2g spark://10.0.0.10:7077