僞分佈式：需要更改映射器節點的數量

Question

我正在使用Intel（R）Core（TM）2 Duo處理器。我已經以僞分佈模式安裝了hadoop。我寫了一個需要50個映射器節點的程序。是否有可能在僞分佈式模式下有50個映射器節點，或者我將被限制爲4個節點（2 *個內核）。我曾嘗試將「mapred.tasktracker.map.tasks.maximum」設置爲50，但併發性沒有變化。

Answer 1

映射和減少任務的最大數量取決於羣集中任務跟蹤器的數量以及使用屬性mapreduce.tasktracker.map.tasks.maximum和mapreduce.tasktracker.reduce.tasks.maximum定義的每個節點的最大映射/減少任務數。

我假設你的地圖減少了作業在默認塊大小配置中需要50個地圖任務。作業所需的地圖任務數量取決於處理數據的InputSplits數量。當然，您不應該依賴所需的地圖任務的數量，或者無論如何在您的程序中定義此限制。這會影響您的地圖縮小作業的縮放比例。

一種選擇是將映射器任務的最大數量設置爲50.可用映射器任務的數量應該在作業跟蹤器Web UI的羣集概要部分中可見。但是，由於您的處理器只有兩個內核，因此您應該重新考慮同時啓動50個映射器是否會對映射縮減作業的性能產生任何積極影響。