什麼是Hadoop上的ApplicationMaster節點？

Question

首先，我看到我的正在運行的作業由1個應用程序主節點處理，它不是主節點（不同的IP地址）。因此，我認爲我的工作僅由1個節點處理。但是，當我檢查映射器作業的處理位置時，實際上是由其他從節點處理的。

我有點困惑，因爲我認爲主節點也是應用程序主人，他將處理作業管理。但在這種情況下並非如此。

有人能幫助我理解爲什麼我的工作的當前管理由一個從屬節點（稱爲應用程序主控）處理，而不是由我的主節點處理？

另一個問題是hadoop中的主節點被認爲是單點故障，但是當我們有一個輔助節點時，它會沒事的。對於應用程序主節點的情況，它是否也應被視爲單點故障？因爲如果從節點關閉，就不會有備份，據我所知。

非常感謝。

Answer 1

可見的應用法師是不是在同一個意義上的主節點或從屬節點 - 它不會在你的集羣代表的機器。 Application Master是用於管理特定應用程序的YARN進程。這些通常會在從節點上運行。然而，它不是一個單一的失敗點，因爲它不是一臺機器，而是一個過程。如果應用程序主文件失敗，YARN將啓動一個新的應用程序主文件。

Answer 2

Hadoop2採用兩級架構：爲每個作業

1. RM調度資源，RM將管理每個作業。
2. 應用程序主人員爲單個作業應用資源併爲作業的任務安排應用資源。不同的工作將使用不同類型的應用大師，如MapReduceAM，SparkAM

至於MapReduce工作的，如果作業的MapReduceAM失敗，紗將推出一個新的MapReduceAM作業UTIL作業失敗三次。

更多細節可以在Hadoop維基