開始星星之火從（或工人）

當我這樣做開始星星之火從（或工人）

spark-1.3.0-bin-hadoop2.4% sbin/start-slave.sh

我得到這個消息

failed to launch org.apache.spark.deploy.worker.Worker: 
         Default is conf/spark-defaults.conf.

即使我有這樣的：

spark-1.3.0-bin-hadoop2.4% ll conf | grep spark-defaults.conf 
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix 507 Apr 29 07:09 spark-defaults.conf 
-rw-rwxr--+ 1 xxxx.xxxxx ama-unix 507 Apr 13 12:06 spark-defaults.conf.template

知道爲什麼？

感謝

來源

2015-04-29 jakstack

首先，你應該確保你正確使用命令，

Usage: start-slave.sh <worker#> <spark-master-URL>

其中<worker#>是要啓動您正在運行此腳本的機器上的工人數量。
<spark-master-URL>就像spark://localhost:7077

來源

2015-04-29 07:27:55

謝謝你，是的，我知道的worker＃，但爲什麼我需要指定spark url，如果在spark-defaults.conf中指定的話？ – jakstack

@jakstack，你正在使用哪個版本的spark？我不能開始奴隸，除非一個主人的網址，因爲在火花1.3.1，它將首先檢查參數數字。 –

謝謝，我使用的是1.3.0，你的建議也適用於這個版本嗎？ – jakstack

我使用的火花1.6.1，你不再需要表明職工人數，所以實際使用情況是：

start-slave.sh spark://<master>:<port>

來源

2016-06-12 21:29:46 rauljosepalma

這個筆記是一個救生員。我一直在調試好幾天，依靠我（和合作者）在一年半前使用過的模式啓動腳本。 – TravisJ

開始星星之火從（或工人）

回答

相關問題