工作驅動程序和第三方罐子

我能夠運行M/R作業，其中使用第三方罐子的mapper和reducer是必需的。我在調用hadoop jar命令時在-libjars中註冊這些jar。儘管如此，當運行此類代碼所需的作業驅動程序本身（擴展了Configured implements Tool）時（例如在啓動和結束時通知某個遠程服務），我正面臨一個奇怪的問題。使用hadoop jar提交作業時，有沒有辦法配置classpath？好像-libjars這種情況下不工作...工作驅動程序和第三方罐子

Exception in thread "main" java.lang.NoClassDefFoundError: com/me/context/DefaultContext 
     at java.lang.ClassLoader.defineClass1(Native Method) 
     at java.lang.ClassLoader.defineClassCond(ClassLoader.java:632) 
     at java.lang.ClassLoader.defineClass(ClassLoader.java:616) 
     at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141) 
     at java.net.URLClassLoader.defineClass(URLClassLoader.java:283) 
     at java.net.URLClassLoader.access$000(URLClassLoader.java:58) 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:197) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at java.net.URLClassLoader.findClass(URLClassLoader.java:190) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:307) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:248) 
     at com.me.bigdata.mr.pnm.PnmDataCruncher.run(PnmDataCruncher.java:50) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65) 
     at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79) 
     at com.me.mr.pnm.PnmMR.main(PnmDataCruncher.java:261) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) 
     at java.lang.reflect.Method.invoke(Method.java:597) 
     at org.apache.hadoop.util.RunJar.main(RunJar.java:156) 
Caused by: java.lang.ClassNotFoundException: com.me.context.DefaultContext 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:202) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at java.net.URLClassLoader.findClass(URLClassLoader.java:190) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:307) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:248)

我試圖用出口HADOOP_CLASSPATH_USER_FIRST =真實-Dmapreduce.task.classpath.user.precedence =真實的，但仍然遇到錯誤。

我在運行hadoop 1.0.4。

來源

2013-03-09 Seffy

你如何實例化配置對象？確保通過'getConf（）'在驅動程序類中檢索它 – 2013-03-10 19:41:24

怎麼樣

HADOOP_CLASSPATH=jar1:jar2 hadoop jar your_jar your_class ...........

使這一切在shell命令的一行

來源

2013-03-11 03:02:32

工作驅動程序和第三方罐子

回答

相關問題