啓動hadoop 2.2.0 minicluster時出錯：java.lang.NoClassDefFoundError：org/apache/hadoop/yarn/server/MiniYARNCluster

Question

我在MacOS開發環境中使用Apache Hadoop 2.2.0。當試圖在Apache的文檔中描述執行Hadoop minicluster：

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar minicluster 

，我發現了錯誤

java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/MiniYARNCluster at org.apache.hadoop.mapreduce.MiniHadoopClusterManager.start(MiniHadoopClusterManager.java:170) at org.apache.hadoop.mapreduce.MiniHadoopClusterManager.run(MiniHadoopClusterManager.java:129) at . . . . . . .

任何想法如何解決這個問題？

Answer 1

看起來像我找到了解決方案：默認情況下，包含MiniYARNCluster的jar文件不是Hadoop類路徑的一部分，它必須顯式添加到HADOOP_CLASSPATH中。下面的代碼片段工作得很好：

export HADOOP_CLASSPATH=./share/hadoop/yarn/test/hadoop-yarn-server-tests-2.2.0-tests.jar 
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar minicluster 

Answer 2

我知道這是一個古老的職位，但我最近需要解決這個問題，但沒有找到一個完整的解決方案在那裏爲MR2和紗線測試，所以我想分享我發現

http://www.lopakalogic.com/articles/hadoop-articles/hadoop-testing-with-minicluster/

希望它可以幫助別人