我們有一個設置爲hadoop羣集有三個節點。當我們啓動羣集時,我們有一個錯誤消息,如爲什麼獲得Hadoop啓動SafemodeException
ssh: Could not resolve hostname master:
但是在我們的應用程序中無處使用configs中的該名稱。 但是守護進程也都在master和slave上運行。但在檢查UI時,只有一個節點是活動節點。 任何人都可以幫我在這些conf文件引用。
我們有一個設置爲hadoop羣集有三個節點。當我們啓動羣集時,我們有一個錯誤消息,如爲什麼獲得Hadoop啓動SafemodeException
ssh: Could not resolve hostname master:
但是在我們的應用程序中無處使用configs中的該名稱。 但是守護進程也都在master和slave上運行。但在檢查UI時,只有一個節點是活動節點。 任何人都可以幫我在這些conf文件引用。
可能是,您已將「master:」而不是「master」寫入文件$ HADOOP_HOME/conf/masters | $ HADOOP_HOME/conf/slaves ...
這是一個dns問題,在環境設置過程中可能會遇到很多dns問題。您可以使用hadoop-dns-checker工具找出問題...
我看到hadoop-hduser-jobtracker-MasterNode.log中的異常如下,「問題清理系統目錄:hdfs:// masternode:54310/mnt/sdb1/mapred/system org.apache.hadoop.ipc.RemoteException :org.apache.hadoop.hdfs.server.namenode.SafeModeException:無法刪除/ mnt/sdb1/mapred/system。名稱節點處於安全模式。「任何人都可以幫助請求。 – habeeb
您是否寫過conf/masters
和conf/slaves file
?在你的Hadoop文件夾,這樣做:
echo localhost > conf/masters;
echo localhost > conf/slaves;
而且,在conf/core-site.xml
,請確保您設置fs.default.name
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://127.0.0.1:9000</value>
</property>
</configuration>
在conf/mapred-site.xml
:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>dfs.datanode.socket.write.timeout</name>
<value>0</value>
</property>
</configuration>
你有什麼'$ HADOOP_HOME的內容/ conf/masters'和'$ HADOOP_HOME/conf/slaves'文件? –