如何在單節點中同時運行多個映射器

Question

我在Mac中使用Hadoop 2.8.0。我想同時運行所有的映射器。我試圖通過強制創建多個輸入文件並使用多個輸入文件，以便創建多個映射器。他們被創建，但他們順序運行。我看到在輸出是這樣的：

開始任務**** _ M_0

...............

finising任務**** _ M_0

開始任務**** _ M_1

爲什麼映射器運行了一個又一個？我如何配置以便它們一次啓動？

Answer 1

如果您在本地模式下運行mapreduce（例如從eclipse），它一次只能運行一個映射器和一個reducer。如果以分佈式（或僞分佈式）模式運行它（例如，使用終端的hadoop命令，則可以使用更多映射器運行它）。

確保將映射器的最大數量設置爲大於1配置文件

如果你有4個文件，你的Mac至少有4個核心，那麼你應該看到至少有4個地圖任務同時運行