無法不Hadoop的

Question

運行Apache星火我installed包spark-2.0.2-bin-without-hadoop.tgz上的本地DEV框，但未能run它下面，

$ ./bin/spark-shell 
NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream 

$ ./sbin/start-master.sh 
NoClassDefFoundError: org/slf4j/Logger 

我有沒有誤解的火花可能低於旋without Hadoop？

「我需要的Hadoop運行星火？ 沒有，但是如果你在集羣上運行，你將需要某種形式（例如，NFS安裝在每個節點上的相同路徑）共享文件系統。如果你有這種類型的文件系統，你可以在獨立模式下部署Spark。「

Answer 1

對於有關FSDataInputStream第一個問題，在這個堆棧溢出響應https://stackoverflow.com/a/31331528指出，

的「無Hadoop的」是有點誤導性，此構建星火不依賴於一個特定的構建Hadoop，而不是沒有它運行。要使用「沒有Hadoop」版本運行Spark，您應該將其綁定到您自己的Hadoop發行版。

對於涉及失蹤SLF4J第二個問題，在這個堆棧溢出響應https://stackoverflow.com/a/39277696注意 - 你可以包括SLF4J罐子，或者如果你已經安裝了Hadoop發行版，那麼你應該已經有此啓動和運行。

說了這樣的話，你可以下載預先用Hadoop構建的Apache Spark，而不是使用Hadoop本身。它包含所有必需的jar文件，您可以指定Spark從文件系統讀取，例如在訪問您的數據（而不是HDFS）時使用file:////。