Hadoop Mapreduce wordcount

Question

從Eclipse Kepler運行Hadoop MapReduce WordCount程序並使用位於Mapreduce（hadoop-mapreduce-example-2.6.0.jar）中的預定義jar文件運行它有什麼區別。 與速度，性能等有什麼區別。

Answer 1

沒有區別。只要當你的輸入是巨大的，並且你的映射器/縮減器運行在多個節點上時，你會看到顯着的性能改進，因爲現在單詞計數將在不同的機器上並行完成。

Answer 2

當您從eclipse運行map-reduce（即沒有構建.jar並通過點擊運行程序直接運行）時，您實際上正在運行僞模式（主要用於測試目的）的map-reduce。

要以僞模式運行程序，您並不需要安裝hadoop。你只需要hadoop jar文件。

但是，當您使用hadoop-mapreduce-example-2.6.0.jar（即，編寫命令在終端上運行它）時，您實際上正在運行livered羣集（Hadoop）上的mapreduce。爲此，您需要啓動並運行Hadoop羣集。