2016-03-02 100 views
2

我在運行亞馬遜上的單節點hadoop集羣時出現此錯誤d2.2Xlarge.I也無法查看我的輸出。是否有人爲我提供瞭解決此問題的適當步驟?Hadoop Map-Reduce輸出文件異常

"Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not 
find any valid local directory for output/file.out" 

這是我執行的步驟。

bin/hdfs dfsadmin -safemode leave        
bin/hadoop fs -mkdir /inputfiles  
bin/hadoop dfsadmin -safemode leave  
bin/hadoop fs -mkdir /output  
bin/hdfs dfsadmin -safemode leave  
bin/hadoop fs -put input1 /inputfiles  
bin/hdfs dfsadmin -safemode leave 
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar 
wordcount /inputfiles /output 

回答

0

你不應該創建地圖的輸出目錄減少工作。

刪除此命令

bin/hadoop fs -mkdir /output 

,並更改最後一個命令爲

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar 
wordcount /inputfiles /output1 

請確保您有權限下/

創建output1如果不是這樣,我寧願目錄下面strucuture 。

/home/your_user_name/input輸入目錄中的文件和

/home/your_user_name/output的輸出目錄。

+0

ok..即使在刪除輸出mkdir後,它對.100Mb,300MB,但不是1GB ..,這是一個磁盤問題..? – user3449625