如何增加Hadoop的櫃檯數量

Question

正如衆所周知，，Hadoop的櫃量爲120我想增加多少，我想加入配置流動：

mapreduce.job.counters.limit=1000 
mapreduce.job.counters.max=1000 
mapreduce.job.counters.groups.max=500 
mapreduce.job.counters.group.name.max=1000 
mapreduce.job.counters.counter.name.max=500 

但是，它沒沒有道理。 所以，你們知道如何增加櫃檯數量。提前致謝！

Answer 1

您需要在所有JobTracker，TaskTracker和您的客戶端中更新您的配置，然後重新啓動它們。例如，mapreduce.job.counters.limit僅在啓動時才加載到Limits.COUNTERS_MAX。

Answer 2

雖然你的問題的實際部分已回答了，我想帶幾件事情給您的通知：

1計數器是非常昂貴的，因爲JobTracker的具有維持 的每一個櫃檯每個地圖/減少任務在整個 應用程序的任務。所以明智地使用它們。

2-由於計數器存儲在JobTracker中，所以您的JobTracker將有一個公平的機會 這樣的高計數器值。而 這是保持計數器數量的原因，可以是每個作業創建的 ，受Hadoop限制。