SPARK：WARN TaskSchedulerImpl：初始作業未接受任何資源

Question

因此，我試圖從以下鏈接在ubuntu上安裝Apache Spark 1.2.1獨立羣集。 How to install

但是，而不是從VmWare工作站的主從克隆從站，我用了兩臺不同的機器。

我已經宣佈繼spark-env.sh

# - SPARK_MASTER_IP, to bind the master to a different IP address or hostname 
export SPARK_MASTER_IP=<master-node IP> 
# - SPARK_MASTER_PORT/SPARK_MASTER_WEBUI_PORT, to use non-default ports for the master 
# - SPARK_MASTER_OPTS, to set config properties only for the master (e.g. "-Dx=y") 
# - SPARK_WORKER_CORES, to set the number of cores to use on this machine 
export SPARK_WORKER_CORES=1 
# - SPARK_WORKER_MEMORY, to set how much total memory workers have to give executors (e.g. 1000m, 2g) 
export SPARK_WORKER_MEMORY=200m 
# - SPARK_WORKER_PORT/SPARK_WORKER_WEBUI_PORT, to use non-default ports for the worker 
# - SPARK_WORKER_INSTANCES, to set the number of worker processes per node 
export SPARK_WORKER_INSTANCES=2 

變量現在，當我從機器上運行以下命令

./sbin/start-all.sh 

雖然，2個Java進程拿出系統監視器，但主節點系統的UI不顯示任何工作節點。

不過移動，當我運行命令

MASTER=spark://<master node ip>:7077 ./bin/spark-shell 

以下錯誤就出現

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory 

我已經確保在需要的時候把正確的IP系統，並試圖減少分配的內存到工人節點......但問題仍然存在。

請幫忙。

另外任何指導/參考[火花節目指南除外]在火花進行流媒體將不勝感激。

Answer 1

由於工作節點內存不足導致發生錯誤。

以下兩種解決方案：

• 嘗試分配更多的內存來工人的虛擬機。
• 減少分配給「spark-env.sh」 文件中工作節點的內存。