我可以使我的Hadoop減速器更快嗎？

我是Hadoop的新手，只是嘗試wordcount示例。我只是建立了一個節點，指的是http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/我可以使我的Hadoop減速器更快嗎？

我上傳了一個很簡單的文字，加上少量文字到HDFS，然後運行wordcount.jar。

不知何故，減速機處理需要很長時間。我知道這是I/O瓶頸，但是有什麼方法可以設置一些參數並使其更快？（大聲笑，減少過程仍然是0％，差不多20分鐘）

13/06/04 15:53:14 INFO mapred.JobClient: map 100% reduce 0%

來源

2013-06-04 Freya Ren

的可能重複解釋[停留在地圖上的Hadoop字計數例如100％降至0％]（http://stackoverflow.com/questions/10165549/hadoop-wordcount- example-stuck-at-map-100-reduce-0） –

無恥選擇f-plug：http://whiteycode.blogspot.co.uk/2012/05/hadoop-local-map-aggregation.html –

看來你的Hadoop有一些問題，MR無法正常運行。

請檢查：

無論你的Hadoop工作正確地訪問http://localhost:50030，這是你的Hadoop的JobTracker的WebUI中
查找到你的$ HADOOP_HOME /日誌日誌文件/，尤其是*jobtracker*.log，和*tasktracker*.log。

通常，如果這是您第一次測試Hadoop。請檢查此鏈接：Hadoop WordCount example stuck at map 100% reduce 0%

來源

2013-06-05 04:36:51

謝謝，我發現問題是，當我格式化namenode時，主機URL不是127.0 .0.1（奇怪）。這導致了連接問題。所以我編輯了/ etc/hosts文件來改變它。 –

如果你想修改像增加Reduce任務數的幾個Hadoop的設置，您可以使用「-D」選項：

[email protected]:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount -D mapred.reduce.tasks=8 /user/hduser/temp-data /user/hduser/temp-data-output

而且與HDFS你不能強迫數map任務mapred.map.tasks但您可以指定mapred.reduce.tasks在本link

來源

2013-06-05 06:40:08 Vbp

我可以使我的Hadoop減速器更快嗎？

回答

相關問題