2017-08-12 54 views
0

我在我的筆記本電腦中設置了Hadoop, ,並且當我在Hadoop(儘管MapReduce和Tez)上提交作業時, 狀態始終爲「已接受」,但始終進展停留在0%,描述寫了類似「等待AM容器分配」的內容。紗線UI在HDFS UI中不顯示活動節點

當我檢查通過YARN UI(本地主機:8088)的節點, 它表明活性節點是0

enter image description here

但是從HDFS UI(本地主機:50070),它顯示有是一個活節點。

enter image description here

是那個導致作業卡,因爲沒有可用的節點的主要原因是什麼?如果是這樣的話,我該怎麼辦?

回答

1

在你YARN UI,它表明你 vcores和內存中,因此沒有辦法進行任何工作永遠運行,因爲你缺乏的計算資源。 datanode僅用於存儲(在這種情況下爲HDFS),並且不會影響爲什麼您的應用程序被卡住。

解決您的問題,您需要更新您的紗線的site.xml並提供所描述的內存與CPU核心屬性設置如下:

http://blog.cloudera.com/blog/2015/10/untangling-apache-hadoop-yarn-part-2/

你可能會考慮使用Cloudera的快速啓動VM或Hortonworks Sandbox(至少作爲yarn-site.xml的配置值的參考)。

https://www.cloudera.com/downloads/quickstart_vms/5-10.html https://hortonworks.com/products/sandbox/

+0

嗨,我有跟隨你的答案,並能調出節點,但我仍然無法成功進行任何Hadoop的工作。 –

+0

您現在在YARN UI中顯示了多少個總核心數和總內存?另外,當你說你創建了一個節點時,你的意思是一個節點管理器嗎?您需要使用YARN的服務來運行作業。 – tk421

+0

是節點管理器現在能夠成功啓動。我的筆記本電腦有8GB或RAM和4個內核。在yarn-site.xml中,我將yarn.nodemanager.resource.memory-mb設置爲6GB,將yarn.nodemanager.resource.cpu-vcore設置爲4.因此,在YARN UI中,它顯示6GB RAM和4個內核。 –