我們的系統有5個主機的集羣（例如，數據節點或計算機從屬...）。現在，我想分配不同數量的這些主機的reducer，因爲1主機很慢。 。我們正在使用Hadoop紗線。資源管理器（MapReduce1中所謂的Job跟蹤器）始終將減少器的數量均勻分配給5臺主機。無論如何，我可以限制特定主機的減速器數量嗎？例如，我想要的是一個有40個減速器的工作，4個快速計算機有36個減速器（例如，每個主機有9個減速器），而慢速計算機只有4個減速器。我們如何分配不同數量的異構集羣減速器？
在hadoop集羣中有異構系統是完全可能的和普遍的現象。通常，隨着集羣不斷變大並因此水平擴展，不同配置的新節點會被添加到集羣中。
在這種情況下，爲了使配置適用於特定節點或一組節點，我們需要在這些主機上相應地修改配置。
例如，在通過Ambari管理集羣的Hortonworks Data Platform的情況下，可以利用主機配置組的概念實現此目的。
請參閱下面的鏈接瞭解詳細信息：
另請參見下面的鏈接，其中討論的是在節點級增加紗線的集裝箱數量。它仍然是相同的，你的情況爲好，這是有討論的用例的反面：
How to increase the number of containers in nodemanager in YARN
另一個有用的鏈接：
http://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/