如何設置減輕基於簇的大小在Hadoop中

我想設置reduce任務的＃是正好等於可降低槽的一個作業的＃任務。如何設置減輕基於簇的大小在Hadoop中

默認情況下，減少任務正在被計算爲減少可用（上彈性MapReduce）時隙的＃〜1.75倍。我發現我的作業完成reduce任務非常均勻的，所以它會更好地運行1級減速器每個作業減少插槽。

但我怎麼能確定我的工作配置中從集羣度量？

你有沒有看這個線程？ http://stackoverflow.com/questions/11523480/how-to-collect-hadoop-cluster-size-number-of-cores-information – anonymous1fsdfds

您可以使用ClusterMetrics類獲取有關Map-Reduce集羣當前狀態的狀態信息，如集羣的大小，列入黑名單和退役的跟蹤器的數量，集羣的插槽容量，當前佔用/保留的地圖&降低槽等

2012-12-17 13:43:08 Tariq

回答