當運行start-all.sh我SLAVE1和SLAVE2不能在節點管理器與JPS VM VirtualBox的 主發現在Ubuntu 16.04的Hadoop節點管理器無法啓動,從不滿足最小分配
工作
[email protected]:~$ jps
15920 Jps
15505 SecondaryNameNode
15659 ResourceManager
15293 NameNode
SLAVE1
[email protected]:~$ jps
7587 DataNode
7945 Jps
SLAVE2
[email protected]:~$ jps
7138 DataNode
7374 Jps
這是我的節點管理器,slave1.log
2017年10月12日17:26:59662 ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl:意外的錯誤開始NodeStatusUpdater org.apache。 hadoop.yarn.exceptions.YarnRuntimeException:從Resourcemanager收到SHUTDOWN信號,NodeManager註冊失敗,來自ResourceManager的消息:來自slave1的NodeManager不滿足最小分配,向NodeManager發送SHUTDOWN信號。 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:278) 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:197) 在org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120) at org.apache.hadoop.yarn.server。 nodemanager.NodeManager.serviceStart(NodeManager.java:272) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager( NodeManager.java:496) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.j AVA:543)
二○一七年十月一十二日17:26:59710致命org.apache.hadoop.yarn.server.nodemanager.NodeManager:錯誤啓動節點管理器 org.apache.hadoop.yarn.exceptions.YarnRuntimeException:有機.apache.hadoop.yarn.exceptions.YarnRuntimeException:從Resourcemanager收到SHUTDOWN信號,NodeManager註冊失敗,來自ResourceManager的消息:來自slave1的NodeManager不滿足最小分配,向NodeManager發送SHUTDOWN信號。 at org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:203) at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193) at org.apache。 hadoop.service.CompositeService.serviceStart(CompositeService.java:120) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:272) at org.apache.hadoop.service.AbstractService。 start(AbstractService.java:193) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:496) at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main( NodeManager.java:543) 原因:org.apache.hadoop.yarn.exceptions.YarnRuntimeException:從Resourcem收到SHUTDOWN信號anager,註冊NodeManager失敗,來自ResourceManager的消息:來自slave1的NodeManager不滿足最小分配,向NodeManager發送SHUTDOWN信號。 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.registerWithRM(NodeStatusUpdaterImpl.java:278) 在org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl.serviceStart(NodeStatusUpdaterImpl.java:197) 。 .. 6更多
我已經找到了一些相關信息。他們告訴我加
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
但它仍然不起作用。
所以,我設定值4096,仍無法工作
這裏是我的下面
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>4096</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/yunchi/yarn</value>
<final>true</final>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1</value>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-vcores</name>
<value>1</value>
</property>
我發現nodemanager會出現一段時間,但幾秒鐘就會消失... –