FSDataInputStream ClassNotFoundException的火花

我是新來的火花應用程序，因此，與此基本的一個掙扎在這裏..FSDataInputStream ClassNotFoundException的火花

我從最新的Hadoop的斯卡拉IDE和連接相關的jar文件和火花分佈。還有的是，我有工作只是一個基本的斯卡拉對象 - 的Hadoop - 2.7 火花 - 2.0.0

我與這兩種情況下，當Hadoop的進程在我的筆記本電腦上運行，也當它們不運行這個嘗試它的行爲一樣。順便說一句，火花外殼沒有抱怨什麼

import org.apache.spark.SparkConf 

object SparkAppTest { 
    def main(args : Array[String]) { 
    val conf = new SparkConf().setAppName("Spark test") 
    conf.setMaster("spark://master:7077") 
    conf.setSparkHome("/hadoop/spark") 
    conf.set("spark.driver.host","localhost") 

    } 
}

當我想「跑」這個使用eclipse - >運行爲斯卡拉應用程序，這是與下面的錯誤而失敗 -

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream 
    at org.apache.spark.SparkConf.loadFromSystemProperties(SparkConf.scala:65) 
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:60) 
    at org.apache.spark.SparkConf.<init>(SparkConf.scala:55) 
    at SparkAppTest$.main(SparkAppTest.scala:6) 
    at SparkAppTest.main(SparkAppTest.scala) 
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FSDataInputStream 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
    ... 5 more

來源

2016-07-28 Gyan

向我們展示您的build.sbt/pom.xml –

您似乎錯過了hadoop庫依賴項 –

感謝@ cricket_007。

我已經選擇性地將jar添加到庫路徑中。當我從Spark的發行目錄（火花/罐子）添加所有罐子時，它不再抱怨了。

來源

2016-07-28 16:30:41 Gyan

FSDataInputStream ClassNotFoundException的火花

回答

相關問題