如果Reducer的數量超過Datanode，會發生什麼事

Question

如果我有3個datanodes，我將Reducer Tasks的數量設置爲4，在這種情況下發生了什麼？第四個將等待，直到datanode中的一個完成其reducer任務？或者他們中的兩個將同時在同一個datanode中運行？

Answer 1

減少任務不依賴於Datanodes，它們取決於分配給特定節點的插槽數量。 TaskTracker負責在集羣中任何節點上的這些插槽上運行任務。每個節點可以有多個插槽，因此每個節點可以運行多個Reduce任務。

Answer 2

添加到混沌的答案中，如果您已將減少任務數設置爲大於整個羣集中減少任務存在的時間片數的數字，則剩餘減少任務將在前一個減少時隙未佔用時運行。