無法創建使用DFS在Hadoop中

我嘗試使用下面的命令無法創建使用DFS在Hadoop中

[email protected]:/usr/local/hadoop/bin$ hadoop dfs -mkdir /tmp

我遇到了創建一個文件夾目錄，然而，以下錯誤：

mkdir: unknown host: hadoop

我有發佈了日誌文件，並希望得到一些幫助。我在hadoop上安裝了單節點。它看起來像java unknownhostexception錯誤。請讓我知道如何解決這個問題。

[email protected]:/usr/local/hadoop/logs$ cat hadoop-manoj-datanode-ubuntu.log 
2014-10-05 13:08:30,621 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: 
/************************************************************ 
STARTUP_MSG: Starting DataNode 
STARTUP_MSG: host = ubuntu/127.0.1.1 
STARTUP_MSG: args = [] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_65 
************************************************************/ 
2014-10-05 13:08:32,449 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 
2014-10-05 13:08:32,514 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered. 
2014-10-05 13:08:32,519 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s). 
2014-10-05 13:08:32,519 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started 
2014-10-05 13:08:34,173 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered. 
2014-10-05 13:08:34,191 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists! 
2014-10-05 13:08:36,439 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: unknown host: hadoop 
    at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:233) 
    at org.apache.hadoop.ipc.Client.getConnection(Client.java:1233) 
    at org.apache.hadoop.ipc.Client.call(Client.java:1087) 
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) 
    at com.sun.proxy.$Proxy5.getProtocolVersion(Unknown Source) 
    at org.apache.hadoop.ipc.RPC.checkVersion(RPC.java:422) 
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:414) 
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:392) 
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:374) 
    at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:453) 
    at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:335) 
    at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:300) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:383) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:319) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1698) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1637) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1655) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:1781) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1798) 

2014-10-05 13:08:36,443 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************ 
SHUTDOWN_MSG: Shutting down DataNode at ubuntu/127.0.1.1 
************************************************************/

來源

2014-10-05 manoj kumar

您是否在尋找Hadoop的FS shell命令。 – apesa 2014-10-06 04:14:42

看起來像一個配置問題。我假設你使用Hadoop的最新版本 - 如果是這種情況，你應該使用hdfs命令。因此，請嘗試bin/hdfs dfs -ls以查看您的任何fs命令是否有效。我猜他們不會工作。在這種情況下，您應該檢查您的core-site.xml以獲取HDFS設置（fs.defaultFS）。

來源

2014-10-06 07:53:33

馬諾@ Ubuntu的：在/ usr /本地/ Hadoop的$斌/ HDFS DFS -mkdir/TMP1 慶典：斌/ HDFS：沒有這樣的文件或目錄馬諾@ Ubuntu的：在/ usr /本地/ Hadoop的/ bin中$ HDFS DFS -mkdir/TMP1 無命令 'HDFS' 發現，你的意思是：命令從包'hdfls 'HDF4工具'（宇宙）命令 'HFS' 從包 '的hfsutils-tcltk'（宇宙） hdfs：command not found – 2014-10-07 17:00:34

到$ HADOOP_HOME並嘗試$bin/hadoop fs -mkdir /tmp

來源

2014-10-07 15:07:49

manoj @ ubuntu：/ usr/local/hadoop $ bin/hadoop fs -mkdir/tmp1 mkdir：調用localhost/127.0.0.1：10001連接失敗異常：java.net.ConnectException：Connection拒絕 – 2014-10-07 16:59:50

似乎你沒有啓動hdfs或你的Namenode沒有運行。確保你有HDFS運行'$ bin/start-all.sh'。一旦運行，使用jps命令來掃描進程NameNode，DataNode – 2014-10-08 03:59:34

我在/ etc/hosts文件中做了一些更改並啓動了所有服務，現在hadoop命令工作正常。但是當我使用jps檢查進程時，我看到了作業跟蹤器並且tasktracker在運行後立即停止。所以我只在下面的過程中發現。作業跟蹤器和任務跟蹤器發生了什麼或者這是否正常？請讓我知道。馬諾@ Ubuntu的：在/ usr /本地/ Hadoop的/ $ JPS 3599的DataNode 4359個JPS 3460 NameNode的 3737 SecondaryNameNode – 2014-10-08 20:52:52

無法創建使用DFS在Hadoop中

回答

相關問題