限制地圖減少作業使用更少的資源

Question

我正在使用Hadoop 2.5.0-cdh5.3.3。我創建了一個減少地圖的作業，導致大量的地圖作業。因此它消耗了所有的資源。我怎樣才能防止它只使用有限的資源？

Answer 1

您可以將塊大小增加64 mb到更高的配置， 或 您可以設置一個名爲「mapred.map.tasks」的參數來限制每個節點的地圖任務數。

注意：這將影響性能，因爲更多數量的塊將分配給任務跟蹤器節點。