Hadoop dfs -ls返回我hadoop/dir中的文件列表

Question

我已經在Win7下設置了一個通過cygwin運行的sigle-node Hadoop配置。通過

bin/start-all.sh

啓動Hadoop後，我運行

bin/hadoop dfs -ls

，它返回我的hadoop目錄中的文件列表。然後我運行

bin/hadoop datanode -format
bin/hadoop namenode -format

，但-ls仍然返回我的hadoop目錄的內容。據我瞭解，它應該什麼都不返回（空文件夾）。我究竟做錯了什麼？

Answer 1

您是否在conf文件夾下編輯core-site.xml和mapred-site.xml？ 看來你的hadoop集羣處於本地模式。

Answer 2

我有同樣的問題，並通過顯式指定NameNode的URL來解決它。

要列出HDFS空間的根目錄的所有執行以下操作：

./bin/hadoop dfs -ls hdfs://<ip-of-your-server>:9000/ 

文檔說了一些關於默認HDFS的配置來看，但我不能找到它。如果有人知道他們的意思，請啓發我們。

這是我得到的信息：http://hadoop.apache.org/common/docs/r0.20.0/hdfs_shell.html#Overview

Answer 3

或者你可以只是做：

• 運行stop-all.sh。
• 刪除DFS數據和名稱目錄
• 的Namenode -format
• 運行start-all.sh

Answer 4

我知道這個問題是很老，但在Hadoop的目錄結構已經改變了一點（2.5版本） Jeroen目前的版本會。

HDFS DFS -ls HDFS：//本地主機：9000 /用戶/ smalldata

也只有信息 - 使用start-all.sh和stop-all.sh已被棄用，而不是一個應該使用start-dfs.sh和start-yarn.sh