Hadoop的輸入和輸出如何工作？

我只是設置我使用本教程我的本地機器上的單節點的Hadoop集羣 -Hadoop的輸入和輸出如何工作？

http://ac31004.blogspot.com/2013/10/installing-hadoop-2-on-mac_29.html

在本教程中我跟着這個如下說明：嘗試LS Hadoop的FS -ls

如果你

LS：`'：沒有這樣的文件或目錄

那麼就沒有回家DIRECTO在hadoop文件系統中。因此，

hadoop fs -mkdir /user 
hadoop fs -mkdir /user/<username>

其中是您登錄到計算機上的名稱。

現在改爲$ HADOOP_INSTALL目錄和上傳文件

hadoop fs -put LICENSE.txt

當我用這個下面的命令：

hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt out

它的工作，但我無法找到輸出文件夾。因此，要調試我試圖用另一個輸出文件夾和使用：

hadoop jar ./hadoop-mapreduce-examples-2.2.0 wordcount LICENSE.txt /Applications/hadoop-2.2.0/out2

這工作得很好，但問題是我不`噸沸騰目錄OUT2應用程序文件夾。

然後我在/Applications/hadoop-2.2.0「在」創建一個目錄，將readme.txt中它並試圖用下面的命令：

hadoop jar ./hadoop-mapreduce-examples-2.2.0.jar wordcount /Applications/hadoop-2.2.0/in/README.txt /Applications/hadoop-2.2.0/out3

現在，我得到了一個錯誤：

ERROR security.UserGroupInformation: PriviledgedActionException as:chinmay (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/Applications/hadoop-2.2.0/in/README.txt

來源

2014-01-27 Chinmay

輸入和輸出文件夾也在HDFS上。在那裏創建它們，而不是在本地文件系統上。

來源

2014-01-27 01:49:50 Simplefish

謝謝。得到它了。所以，我必須在處理它們之前將所有文件上傳到hdfs。我有另外一個問題是，我能夠通過瀏覽和看我的輸出：的http：//本地主機：50075/browseDirectory.jsp namenodeInfoPort = 50070＆DIR = /＆nnaddr = 127.0.0.1：9000 但是，它是我有可能在hadoop目錄中看到它們嗎？如果是，那麼創建的目錄'out'存儲在哪個目錄中？謝謝 – Chinmay

使用hadoop fs命令查看您的hdfs文件。 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/FileSystemShell.html – Simplefish

Hadoop的輸入和輸出如何工作？

回答

相關問題