2014-02-26 24 views
0

早上好,開始使用MapReduce的版本2

我沒有成功找到紗線MapReduce的例子(即MapReduce的的第二版),即始終呈現一個字計數這僅僅是非常相同代碼是在MapReduce的第一個版本中提供的代碼。 即使「Hadoop:權威指南」在YARN中沒有代碼!

你能否給我一段代碼,告訴我在前一版本和最新版本中編寫mapReduce代碼的區別?

實際上,我試圖在MR1上寫一個分支和綁定代碼,但後來我看到YARN可以讓事情變得簡單,這要歸功於BranchReduce。

任何幫助理解,預先

回答

0

你可以編譯紗(MRv2),用於MRv1編寫的程序 由於無需修改源代碼中的任何一行。它完全是源代碼兼容的。

這裏是紗例:http://wiki.apache.org/hadoop/WordCount

這裏是地圖紅1例:https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Example%3A+WordCount+v1.0

一些明顯的差異,在API級別注意:
- 新的API使用抽象類在接口
- mapreduce包是不同的

+0

非常感謝您的答案,但JobTracker?TaskTracker等呢?我認爲我們應該用ResourceManager和NodeManager替換它們!我會永遠有權訪問JobTracker本地主機? –

+0

是的,你需要資源管理器。節點管理器 - 生態系統略有不同:http://hadoop.apache.org/docs/current2/hadoop-yarn/hadoop-yarn-site/YARN.html – Jasper

+0

那麼,這是否意味着爲MRv1編寫的程序將是隱含地改變爲與YARN的結構相匹配?非常感謝。 –

相關問題