運行WordCount時輸入路徑不存在MapReduce

我在Ubuntu上安裝了一個節點集羣。我想執行wordcount程序。我已經創建了jar文件。但是，當我要執行這個命令：運行WordCount時輸入路徑不存在MapReduce

hadoop jar '/home/hduser/Desktop/TutorialFolder/firstTutorial.jar' WordCount /home/hduser/Desktop/TutorialFolder/input_data /TutorialFolder/Output

這是給下面的錯誤：

Exception in thread "main" 
org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: 
hdfs://localhost:9000/home/hduser/Desktop/TutorialFolder/inp‌ut_data 
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.single‌ThreadedListStatus(F‌ileInputFormat.java:‌323)

來源

2017-02-25 Sachit Murarka

的輸入和輸出路徑。

傳入此處的輸入路徑/home/hduser/Desktop/TutorialFolder/input_data看起來像本地目錄。在HDFS中創建一個類似的結構，並將輸入數據上傳到HDFS中的該目錄。

hdfs dfs -mkdir -p /wordcount/input_data 
hdfs dfs -put /home/hduser/Desktop/TutorialFolder/input_data/ /wordcount/input_data/

此外，輸出路徑必須在HDFS中。和運行與HDFS路徑的罐子，

hadoop jar /home/hduser/Desktop/TutorialFolder/firstTutorial.jar WordCount /wordcount/input_data /wordcount/output

來源

2017-02-25 16:32:38 franklinsijo

它的工作表示感謝。我需要通過單擊來瀏覽哪些內容，以查看存儲在我知道的hdfs.By命令中的數據。 –

進入'http：// localhost：50070'，選擇'Utilities - > Browse File System'，你應該能夠查看在HDFS中創建的文件夾。 – franklinsijo

你能分享你的鏈接網址嗎？ –

如果你在僞分佈式模式運行，輸入路徑必須存在在HDFS ，其中沒有一個桌面文件夾...

運行一些hdfs dfs -ls /home/hduser檢查什麼是可用的，並且把一些文件有

如果該文件夾不存在，您應該回到教程並設置HDFS。

運行hdfs dfs -mkdir -p /home/hduser

注意：你可能會被拒絕的錯誤權限與給MapReduce的，除非你是在本地模式下運行的Hadoop必須是有效的HDFS路徑是

來源

2017-02-25 16:27:56

LS：'/家庭/ hduser /「：沒有這樣的文件或目錄 –

是啊，沒錯。你的錯誤不是字數，它沒有HDFS設置...所以運行'hdfs dfs -mkdir -p/home/hduser' –

運行WordCount時輸入路徑不存在MapReduce

回答

相關問題