Hadoop本地模式：映射器和縮減器的數量

Question

我需要在Hadoop本地模式下在我的Mac中創建一些Hadoop MR代碼的原型，並且我想聽聽可能存在的一些問題。

一個特別的問題是關於mappers和reducer的數量。基本上它會成爲兩者之一？指定多於1可以工作？我將使用較小的樣本。

Answer 1

您不能在本地模式下指定mapper和reducer的數量。它始終是單線程的。同時，如果你想分析你的映射器或減速器性能 - 這將是相當現實的。
當所有的deamon在單機上運行時，可以有許多映射器和縮減器的最近模式是僞分佈式模式。
以上兩種情況都不會考慮數據局部性和混洗性能可能出現的問題。我也不希望你的開發機器具有與生產相同的磁盤子系統..
簡而言之 - 如果你在本地模式下具有較低的單映射器/縮減器性能，你可以開始修復它。如果它確實有效 - 在規劃羣集之前試試真正的硬件。