當本地運行SparkPi時拒絕連接

Question

我試圖運行SparkPi示例的簡單執行。我開始在主機和一個工人，然後執行我的地方「集羣」的工作，但最終得到錯誤的順序所有

Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398 

結束我本來試圖運行我的主人和工人沒有配置卻落得與同樣的錯誤。我嘗試更改爲127.0.0.1，以測試服務器是否被外界鎖定，這可能只是防火牆問題。

我conf/spark-conf.sh包含以下內容：

export SPARK_MASTER_IP=127.0.0.1 

下面是我運行的順序和命令：

1）sbin/start-master.sh（以啓動主）

2）bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 --ip 127.0.0.1 --port 1111（在不同的會話在同一臺機器上啓動從機）

3）bin/run-example org.apache.spark.examples.SparkPi spark://127.0.0.1:7077（在不同的會話中同一臺機器開始工作）

我覺得很難相信我已經鎖定足夠的本地運行會導致問題。

Answer 1

看起來你不應該將SPARK_MASTER_IP設置爲回送地址127.0.0.1。工作節點將無法使用回送地址連接到MASTER節點。

您應該在conf/spark-env.sh中將其設置爲有效的本地IP地址（例如，192.168.0.2），並將該工作者的IP添加到MASTER和WORKER節點中的conf/slaves配置文件中。

然後，您可以使用sbin/start-all.sh啓動羣集。然後運行「bin/run-example org.apache.spark.examples.SparkPi」