2017-06-12 40 views
0

我想將Java文件編譯爲jar。我希望它可以由Spark運行。我確實試圖正常編譯,但它有這樣的錯誤。如何爲Spark編譯Java?

java.lang.NoClassDefFoundError: JavaWordCount (wrong name: org/apache/spark/examples/JavaWordCount) 
at java.lang.ClassLoader.defineClass1(Native Method) 
at java.lang.ClassLoader.defineClass(ClassLoader.java:763) 
at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142) 
at java.net.URLClassLoader.defineClass(URLClassLoader.java:467) 
at java.net.URLClassLoader.access$100(URLClassLoader.java:73) 
at java.net.URLClassLoader$1.run(URLClassLoader.java:368) 
at java.net.URLClassLoader$1.run(URLClassLoader.java:362) 
at java.security.AccessController.doPrivileged(Native Method) 
at java.net.URLClassLoader.findClass(URLClassLoader.java:361) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
at java.lang.Class.forName0(Native Method) 
at java.lang.Class.forName(Class.java:348) 
at org.apache.spark.util.Utils$.classForName(Utils.scala:229) 
at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:700) 
at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:187) 
at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:212) 
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:126) 
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala) 

這就是我編譯Java的方式。

javac -classpath spark-sql_2.11-2.1.1.jar:spark-core_2.11-2.1.1.jar:scala-compiler-2.11.8.jar:scala-library-2.11.8.jar JavaWordCount.java 

這就是如何使jar文件

jar cvf JavaWordCount.jar JavaWordCount*.class 

但是做這樣的上面,當我試圖火花提交錯誤上來。

spark-submit --class JavaWordCount JavaWordCount.jar README.md 

我也沒有試圖改變全班分成org.apache.spark.examples.JavaWordCount但它仍然給了我同樣的錯誤。

我哪裏錯了?任何建議? PS我在Spark文件夾中使用了一個示例JavaWordCount。

回答

0

我解決了這個問題只需要javac與所有的火花jar文件(只有需要的一個),當使用jar cvf與火花jar文件再次我沒有這樣做,當我發佈的問題。