4

我想在Windows上使用Eclipse構建我的項目並在Linux羣集上執行。該項目取決於一些外部的jar,我使用eclipse的「Export-> Runnable JAR - >將所需的庫包裝到jar」封裝選項。我檢查了jar包含文件夾結構中的類,並且外部jar文件位於根文件夾中。Jar使用獨立的Hadoop,但不在實際的羣集上(java.lang.ClassNotFoundException:org.jfree.data.xy.XYDataset)

Hadoop上的獨立,Cygwin和Linux上,此工作正常,但實際的Hadoop Linux集羣上失敗了,當它試圖從第一外部罐子訪問類,扔了ClassNotFoundException

有沒有辦法強制Hadoop搜索jar,我認爲這會奏效。

10/07/16 11:44:59 INFO mapred.JobClient: Task Id : attempt_201007161003_0005_m_000001_0, Status : FAILED 
Error: java.lang.ClassNotFoundException: org.jfree.data.xy.XYDataset 
at java.net.URLClassLoader$1.run(URLClassLoader.java:200) 
at java.security.AccessController.doPrivileged(Native Method) 
at java.net.URLClassLoader.findClass(URLClassLoader.java:188) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:307) 
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) 
at java.lang.ClassLoader.loadClass(ClassLoader.java:252) 
at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320) 
at org.akintayo.analysis.ecg.preprocess.ReadPlotECG.plotECG(ReadPlotECG.java:27) 
at org.akintayo.analysis.ecg.preprocess.BuildECGImages.writeECGImages(BuildECGImages.java:216) 
at org.akintayo.analysis.ecg.preprocess.BuildECGImages.converSingleECGToImage(BuildECGImages.java:305) 
at org.akintayo.analysis.ecg.preprocess.BuildECGImages.main(BuildECGImages.java:457) 
at org.akintayo.hadoop.HadoopECGPreprocessByFile$MapTest.map(HadoopECGPreprocessByFile.java:208) 
at org.akintayo.hadoop.HadoopECGPreprocessByFile$MapTest.map(HadoopECGPreprocessByFile.java:1) 
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:50) 
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:358) 
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:307) 
at org.apache.hadoop.mapred.Child.main(Child.java:170) 

回答

3

的Java不能使用在其他罐子罐子:/(類加載器不能處理這個)

你必須做的那麼什麼是每臺機器上的集羣單獨安裝這些程序包,或如果不可能,在運行時添加罐子,要做到這一點,您必須在運行hadoop jar myjar.jar -libjars mylib.jar時添加選項-libjars mylib.jar,這應該起作用。

1

Wojtek的回答是正確的。使用-libjars會將外部jar放入分佈式緩存中,並將它們提供給所有Hadoop節點。

但是,如果您的外部罐子沒有頻繁更換,您可能會發現將jar文件手動複製到節點的hadoop/lib會更方便。一旦你重新啓動Hadoop,你的外部jar就會被添加到你的作業的classpath中。