主人必須從紗線開始，火花

我想要運行SparkPi示例時出現此錯誤。主人必須從紗線開始，火花

[email protected]:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar 
     Spark assembly has been built with Hive, including Datanucleus jars on classpath 
     Error: Master must start with yarn, spark, mesos, or local 
     Run with --help for usage help or --verbose for debug output 
     Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

而且我已經通過其他終端

>./sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /home/beyhan/spark-1.2.0-bin-hadoop2.4/sbin/../logs/spark-beyhan-org.apache.spark.deploy.master.Master-1-beyhan.out

任何建議，開始我的主人？謝謝。

來源

2015-10-15 Beyhan Gül

你得到

Error: Master must start with yarn, spark, mesos, or local

意味着--master ego-client的錯誤不是由火花認可。

使用

--master local

火花的地方執行或

--master spark://your-spark-master-ip:7077

來源

2015-10-15 13:57:40 drstein

我試圖/home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master當地--class org.apache。 spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar這個，但得到另一個錯誤警告：本地jar /home/beyhan/spark-1.2.0 -bin-hadoop2.4/lib/spark-examples-1.jar不存在，跳過。 –

您確定該文件夾中有spark-examples-1.jar嗎？它看起來沒有。 – drstein

是的，我沒有任何jar文件。我如何從我的Scala代碼創建jar文件？ –

下載和提取星火：

$ cd ~/Downloads 
$ wget -c http://archive.apache.org/dist/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz 
$ cd /tmp 
$ tar zxf ~/Downloads/spark-1.2.0-bin-hadoop2.4.tgz 
$ cd spark-1.2.0-bin-hadoop2.4/

開始主：

$ sbin/start-master.sh

從上述命令打印的文件中的日誌中查找主站的URL。讓我們假設master是：spark://ego-server:7077

在這種情況下，您還可以通過訪問該網址找到您的主網址：http://localhost:8080/

開始一個奴隸，並把它連接到主：

$ sbin/start-slave.sh --master spark://ego-server:7077

另一個這樣，才能確保掌握啓動和運行啓動綁定到主殼：

$ bin/spark-submit --master "spark://ego-server:7077"

如果你得到一個火花外殼，越看越事情似乎很好。

現在執行你的工作：

$ find . -name "spark-example*jar" 
./lib/spark-examples-1.2.0-hadoop2.4.0.jar 

$ bin/spark-submit --master "spark://ego-server:7077" --class org.apache.spark.examples.SparkPi ./lib/spark-examples-1.2.0-hadoop2.4.0.jar

來源

2015-10-16 05:53:29 tuxdna

謝謝你的回覆。我做到了，我可以運行jar文件，但我不能創建一個jar文件使用sbt.How can I do？你能說嗎？ :) –

@BeyhanGül多數民衆贊成好！你能否在單獨的StackOverflow問題中描述你的問題？ – tuxdna

http://stackoverflow.com/questions/33171330/error-about-sbt-yarn-at-using-spark這是我的新問題，你可以看看這個:)謝謝。 –

主人必須從紗線開始，火花

回答

相關問題