Hadoop中的節點數

Question

我現在讀的是關於Hadoop的next tutorial。我特別感興趣的是羣集中的節點數量。 我現在有兩臺機器：主機有4個CPU，從機有32個CPU。 在章節Multinode Cluster in Hadoop 2.x節點的最終結果只是2.是否意味着兩臺機器正在用於HDFS羣集，以及我如何知道所有36個CPU（從主機+4個從機）都在使用？

Answer 1

Hadoop平臺具有知道羣集資源的ResourceManager。每個hadoop節點上的紗線數量以及容器的可用RAM數量均已配置。

當您提交map-reduce作業時，ApplicationMaster會詢問ResourceManager關於可用資源的信息。基於此，它將盡可能多地啓動映射器/減速器。

您還可以看到有多少資源可用以及應用程序UI中特定作業使用了多少資源。