我正嘗試通過使用「dse cassandra -k -s」以分析模式調用datastax cassandra。我在單個節點設置上使用DSE 5.0沙箱。Datastax Spark worker始終在127.0.0.1處尋找主服務器
我已經用SPARK_MASTER_IP和SPARK_LOCAL_IP配置spark-env.sh來指向我的LAN IP。
export SPARK_LOCAL_IP="172.40.9.79"
export SPARK_MASTER_HOST="172.40.9.79"
export SPARK_WORKER_HOST="172.40.9.79"
export SPARK_MASTER_IP="172.40.9.79"
以上所有變量均在spark-env.sh中設置。
儘管這些,工人不會上來。它一直在尋找在127.0.0.1.This主是我在/var/log/cassandra/system.log看到的錯誤
WARN [worker-register-master-threadpool-8] 2016-10-04 08:02:45,832 SPARK-WORKER Logging.scala:91 - Failed to connect to master 127.0.0.1:7077
java.io.IOException: Failed to connect to /127.0.0.1:7077
從DSE客戶端工具結果表明127.0.0.1
$ dse client-tool -u cassandra -p cassandra spark master-address
spark://127.0.0.1:7077
但是我能夠從LAN IP 172.40.9.79
任何幫助是極大的讚賞
訪問火花的web用戶界面
我已經把本地主機的cassandra.yaml中的listen_address留下了。指着172.40.9.79解決了問題 –