Hadoop 2.0資源管理器高可用性

Question

Hadoop 2.0通過Federation Architecture提供高可用性。以上架構實現高可用性。

我對「資源管理器」有疑問。

MRv2的基本思想是將JobTracker，資源管理和作業調度/監控的兩個主要功能分解爲單獨的守護進程。這個想法是有一個全局的ResourceManager（RM）和每個應用程序的ApplicationMaster（AM）。應用程序既可以是傳統意義上的Map-Reduce作業，也可以是DAG作業。

ResourceManager和per-node從屬節點管理器（NM）構成數據計算框架。 ResourceManager是仲裁系統中所有應用程序之間資源的最終權威機構。

我們可以讓資源管理器與名稱節點不共存。由於我們有單一資源管理器，因此架構如何解決資源管理器的高可用性問題？

如果資源管理器關閉或不可用會發生什麼情況？

Answer 1

在Hadoop的2.X.X，我們有兩個HDFS和YARN高可用性。

NameNode HA用於HDFS高可用性。

資源管理器HA（RMHA）用於YARN高可用性。

在RMHA，我們有一個主資源管理器（有源）和一種或多種待機資源管理器（或多個）。此資源經理HA由Zookeeper協調。如果活動的資源管理器關閉，FailoverControl會啓動故障轉移以使其作爲活動資源管理器待命。所以我們總是可以有活動的資源管理器。這個概念避免了紗線資源管理器中的單點故障（SPOF）。

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_hag_rm_ha_config.html#concept_xgs_pc5_vl_unique_1

Answer 2

這已被糾正爲Hadoop的V2.4 +的。看看here。