DataNode無法與Hadoop 2.2中的NameNode進行通信

Question

我正在設置hadoop 2.2羣集。我已成功配置主控和從屬。當我在主設備上輸入start-dfs.sh和start-yarn.sh時，所有守護進程都會正確啓動。

具體而言，在主以下運行：

• 數據管理部
• 節點管理器
• 的NameNode
• 的ResourceManager
• SecondaryNameNode

在從站中，以下是運行：

• 的DataNode
• 節點管理器

當我打開http://master-host:50070我看到只有1「活動節點」，它是指在主數據管理部。

啓動從站上的datanode，但無法告訴主站它已啓動。這是我能找到的唯一錯誤：

從/logs/hadoop-hduser-datanode.log在從屬： WARN org.apache.hadoop.hdfs.server.datanode.DataNode：問題連接到服務器：EC2 -xx-xxx-xx-xx.compute-1.amazonaws.com/xx.xxx.xx.xxx:9001

事情我已經檢查/驗證：

• 9001是開放
• 兩節點可以互相ping通
• 兩個節點都可以互相ping通

任何建議，非常感謝。

Answer 1

我的問題是在hosts文件：

的主機上的奴隸和主人還需要文件（他們identical_：

127.0.0.1 localhost 
<master internal ip> master 
<slave internal ip> slave 

對於AWS需要使用內部IP那是類似於xx.xxx.xxx.xxx（不是在ec2-xx-xx-xxx.aws.com中的外部IP而不是在ip-xx-xx-xxx中）。

此外，核心站點。 xml應該指hdfs的位置爲http://master:9000。