Hadoop：如何將任務均勻分配給所有節點

Question

我想將任務均勻分配給所有節點。有什麼辦法可以控制這個嗎？

Answer 1

地圖任務將放置在最接近輸入數據的空閒任務跟蹤器上。

優先級爲：

1. 同一臺機器
2. 同一機架
3. 其他

在大多數情況下，你不必擔心平衡問題自己。

Answer 2

你無法控制：

• 其中Map和Reduce任務執行
• 當Map和Reduce任務的開始或結束
• 什麼鍵和值是由地圖任務處理或減少任務

但是，你可以控制：

• 哪些關鍵是通過減少任務的順序它們出現在減少（與partiotioner）

總之，你不能平衡只有在地圖的任務，但減少任務處理，由框架

的平衡