Hadoop Classic與Yarn之間的比較

Question

我有兩個集羣，每個集羣都運行不同版本的Hadoop。我正在研究POC，我需要了解YARN如何提供同時運行多個應用程序的功能，而這些功能並沒有通過Classic Map Reduce Framework來實現。

Hadoop Classic： 我有一個wordcount.jar文件並在單個羣集上執行（2 Mappers & 2 Reducers）。我同時開始了兩份工作，最先開始的幸運工作者同時獲得了兩名製圖員，完成了任務，然後開始了第二份工作。這是預期的行爲。

Hadoop紗線： 相同的wordcount.jar與不同的集羣（4個核心，所以總共4臺機器）。由於Yarn不預先分配映射器和縮減器，因此任何內核都可以用作映射器或縮減器。在這裏我也同時提交了兩份工作。 預期行爲：兩個作業都應以2個映射器開始，或者以資源管理器分配的任何配置開始，但至少兩個作業都應啓動。

現實：一個工作從3個映射器和1個縮減器開始。第二份工作等到第一份完成。

有人可以幫助我理解行爲，以及多節點集羣最能體現的並行行爲嗎？

Answer 1

不確定這是否確切原因，但Classic Hadoop和YARN體系結構使用不同的調度程序。經典Hadoop使用JobQueueTaskScheduler，而YARN默認使用CapacityScheduler。