java.lang.NoClassDefFoundError：org/apache/hadoop/hdfs/BenchmarkThroughput

Question

我嘗試在CDH4.4上運行TestDFSIO，該命令通過命令行（而不是Cloudera Manager）啓動。 這是命令我運行：

bin/hadoop jar hadoop-test-2.0.0-mr1-cdh4.4.0-SNAPSHOT.jar TestDFSIO -Ddfs.replication=1 -write -nrFiles 2 -fileSize 4000 

，這是錯誤我得到：

java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/BenchmarkThroughput 
     at org.apache.hadoop.test.AllTestDriver.main(AllTestDriver.java:74) 
     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
     at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
     at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
     at java.lang.reflect.Method.invoke(Method.java:606) 
     at org.apache.hadoop.util.RunJar.main(RunJar.java:208) 
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hdfs.BenchmarkThroughput 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
     at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
     at java.security.AccessController.doPrivileged(Native Method) 
     at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:424) 
     at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 
     ... 6 more 

任何想法？

Answer 1

該類是HDFS測試代碼的一部分，而不是主HDFS庫。您不會在集羣中的類路徑中自動找到它。

測試代碼作爲已編譯的工件與Hadoop一起發佈，但只是不同的工件。 CDH也不例外。對於CDH 4.4，您可以在工件hadoop-hdfs-2.0.0-cdh4.4.0-tests.jar 中找到HDFS測試類，您可以在Maven構建中依賴它。

https://repository.cloudera.com/artifactory/cloudera-repos/org/apache/hadoop/hadoop-hdfs/2.0.0-cdh4.4.0/