hbase mapreduce文件未找到異常

我在2臺機器上安裝了hadoop 2.4.1和hbase 0.98.8。當我運行一個HBase的MapReduce工作，我得到下面的錯誤：hbase mapreduce文件未找到異常

Exception in thread "main" java.io.FileNotFoundException: File does not exist: hdfs://pc1/opt/hbase-0.98.8-hadoop2/lib/hbase-server-0.98.8-hadoop2.jar 
    at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1128) 
    at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1120) 
    at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) 
    at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1120) 
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288) 
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224) 
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:93) 
    at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57) 
    at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:265) 
    at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:301) 
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:389) 
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285) 
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:415) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556) 
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282) 
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303) 
    at thesis.test2.run(test2.java:93) 
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) 
    at thesis.test2.main(test2.java:107) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

我可以運行沒有任何問題的Hadoop MapReduce作業和簡單的HBase的就業機會。我試圖運行的代碼是一個應該運行的例子。

來源

2014-12-24 TheRoyal Llama

檢查了這一點 1）http://stackoverflow.com/questions/27374810/my-cdh5-2-cluster-get-filenotfoundexception-when-running-hbase-mr-jobs/27501623#27501623 2）http://stackoverflow.com/questions/27111241/hive-with-hbase-query –

已經看到了這些。沒有幫助。感謝您的建議 –

請提供「jps」輸出。因爲它看起來像你的hbase不工作，希望這個問題將與動物園管理員

來源

2014-12-24 19:34:04 phoenix

根@ PC1：/opt/hadoop-2.4.1# JPS 3975 NameNode的 6331 HQuorumPeer 4421 ResourceManager的 4085的DataNode 4528節點管理器 7186個JPS 6430 HMASTER –

我可以運行簡單的HBase的工作。我可以創建表格並將其中的項目 –

您能夠使用mapreduce或直接使用hbase的終端窗口創建表格並將項目放入hbase中？ – phoenix

我面臨的確切問題。您必須將hbase庫路徑添加到.bashrc文件。將hbase中的lib文件夾添加到CLASSPATH中。另外，將hbase的類路徑添加到HADOOP_CLASSPATH。

你的.bashrc文件應包含以下內容：

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`${HBASE_HOME}/bin/hbase classpath` 
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:`${HBASE_HOME}/bin/hbase mapredcp` 

export CLASSPATH=${HBASE_HOME}/lib/*

注：CLASSPATH應指向您的HBase的安裝文件夾的lib文件夾。使用以下來編譯和運行你的java代碼。

javac Example.java 
java -classpath $CLASSPATH:. Example

來源

2016-09-30 16:42:23

hbase mapreduce文件未找到異常

回答

相關問題