2015-05-12 46 views
2

可有人請告訴是什麼MR1和紗線和MR2hadoop mr1和yarn和mr2的區別?

之間的型差分

我的理解是MR1將具有以下部件 的Namenode, 二次名節點, 數據節點, 作業服務器, 任務跟蹤

紗 節點管理器 資源管理器

是紗線由MR1或MR2的(或MR2和紗線都是一樣的嗎?)

對不起,如果我問基層問題

回答

3

MRv1使用的JobTracker創建和分配任務,任務服務器,它可以成爲一個資源瓶頸在集羣擴展出足夠遠(通常約爲4000集羣)。

MRv2(又名YARN,「另一個資源談判器」)擁有每個集羣的資源管理器,每個數據節點運行一個節點管理器。在MapReduce MRv2中,JobTracker的功能被分成三個服務。 ResourceManager是一個永久YARN服務,它接收和運行羣集上的應用程序(MapReduce作業是一個應用程序)。它包含調度程序,如前所述,它是可插入的。 JobTracker的特定於MapReduce的功能已被移植到MapReduce Application Master中,其中一個開始管理每個MapReduce作業,並在作業完成時終止。提供有關已完成作業信息的JobTracker功能已移至JobHistory服務器。 TaskTracker已經被NodeManager取代,它是一個管理主機資源和部署的YARN服務。它負責啓動容器,每個容器都可以容納地圖或減少任務。

1

YARN是任何形式的分佈式應用程序運行的通用平臺,而MR2是一種這樣的分佈式應用程序,它在YARN上運行MapReduce框架

相關問題