將工作人員添加到Spark Standalone CDH5.3

我有一個在虛擬機上運行的cloudera cdh5.3 quickstart。我在運行Spark時遇到問題。我已經經歷了那些步驟http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_spark_configure ....並運行exapmle這個詞，它的工作。但是當我去到主人（quickstart.cloudera：18080）時，它沒有工作人員那裏核心= 0，內存= 0 ...當我去（quickstart.cloudera：18081）有一個工人。我的問題是如何添加工人？我應該在導出STANDALONE_SPARK_MASTER_HOST時輸入什麼內容？將工作人員添加到Spark Standalone CDH5.3

這是spark-env.sh：

#Change the following to specify a real cluster's Master host 
export STANDALONE_SPARK_MASTER_HOST=worker-20150402201049-10.0.2.15-7078 
export SPARK_MASTER_IP=$STANDALONE_SPARK_MASTER_HOST 
### Let's run everything with JVM runtime, instead of Scala 
export SPARK_LAUNCH_WITH_SCALA=0 
export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib 
export SCALA_LIBRARY_PATH=${SPARK_HOME}/lib 
export SPARK_MASTER_WEBUI_PORT=18080 
export SPARK_MASTER_PORT=7077 
export SPARK_WORKER_PORT=7078 
export SPARK_WORKER_WEBUI_PORT=18081 
export SPARK_WORKER_DIR=/var/run/spark/work 
export SPARK_LOG_DIR=/var/log/spark 
export SPARK_PID_DIR='/var/run/spark/' 
if [ -n "$HADOOP_HOME" ]; then 
export LD_LIBRARY_PATH=:/lib/native 
fi 
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-etc/hadoop/conf} 
### Comment above 2 lines and uncomment the following if 
### you want to run with scala version, that is included with the package 
#export SCALA_HOME=${SCALA_HOME:-/usr/lib/spark/scala} 
#export PATH=$PATH:$SCALA_HOME/bin

謝謝

來源

2015-04-03 Amori

'worker-20150402201049-10.0.2.15-7078'真的是主人的主人名嗎？聽起來像工人的名字。 – 2015-04-04 17:15:16

主機名是：quickstart.cloudera，這是工人的名稱。我也試過quickstart.cloudera作爲名人名字，但沒有工作。 – Amori 2015-04-04 18:20:16

是的，我試過把spark：//10.0.2.15：7077和spark：//10.0.2.15：18080，但我仍然得到： URL：spark：//10.0.2.15：7077 Workers：0 Cores：0 Total ，0使用內存0.0 B總計0.0 B使用應用0運行0已完成驅動程序：0運行中0已完成狀態：ALIVE – Amori 2015-04-04 18:38:08

添加export STANDALONE_SPARK_MASTER_HOST=10.0.2.15您spark-env.sh所以主，工人同意在同一個主機地址。

來源

2015-04-06 07:42:55

將工作人員添加到Spark Standalone CDH5.3

回答

相關問題