Hadoop框架如何決定節點運行映射作業

Question

根據我的理解，存儲在HDFS中的文件被分成塊，並且每個塊被複制到多個節點，默認情況下爲3。 Hadoop框架如何從複製特定塊的所有節點中選擇要運行映射作業的節點。

Answer 1

據我所知，會有相同數量的塊作爲map任務。

查看說明書here。

通常，框架選擇那些靠近輸入塊的節點來減少map任務的網絡帶寬。

這就是我所知道的。

Answer 2

在Mapreduce 1中，它取決於在承載副本的數據節點中運行多少個映射任務，因爲映射任務的數量在MR1中是固定的。 MR2中沒有固定插槽，因此它取決於該節點中已經運行的任務的數量。