火花根本不啓動

-1

幾個星期前，我正在開發使用jupyter和pyspark，一切工作正常。火花根本不啓動

我現在重新開始工作，發生了一些事情發生在我的環境中。我絕對不能啓動火花（spark-shell，pyspark或spark-submit）。

16/03/15 17:43:58 INFO SparkEnv: Registering OutputCommitCoordinator

我的環境是：：日誌總是在以下行停止

的Ubuntu 14.04
星火1.6.1
的Java 1.7或1.8（試用過！）
Python 2.7.11 | Anaconda 2.3.0（64-bit）| （默認情況下，2015年12月6日，18時08分32秒）[GCC 4.4.7 20120313（紅帽4.4.7-1）

（我不t使用HADOOP，這就是爲什麼HADOOP_HOME沒有設置）

請幫忙嗎？

編輯

我的應用程序是在Python，和我貼的日誌是從獨立pyspark應用程序啓動使用以下命令：

$SPARK_HOME/bin/spark-submit --py-files py-files.zip main.py

我的$ SPARK_HOME設置爲/opt/spark-1.6.1-bin-hadoop2.6/

儘管我無法啓動我的應用程序，但我也注意到這種情況發生在pyspark shell，甚至是scala shell中。

這個錯誤是來自spark-shell或pyspark還是所有這些？ spark_shell或pyspark不需要hadoop_home，除非你指定了任何告訴它查找它的選項。我看到這個錯誤，當spark-submit會有一些需要hadoop庫的代碼。什麼是爲您的SPARK_HOME設置的？ –

抱歉失蹤的信息。上面更新。 –

日誌說，你HADOOP_HOME沒有設置

HADOOP_HOME or hadoop.home.dir are not set

集HADOOP_HOME並重新啓動系統並再次測試檢查你的環境設置，如果你正在運行星火獨立模式，你可以忽略HADOOP_HOME。

2016-03-15 21:11:29

正如@ charles-gomes所說，我正在運行一個不需要HADOOP的獨立羣集pyspark應用程序。還是要謝謝你的幫助！ –

回答