實施第三階段縮小階段後稱爲合併

Question

我需要添加第三階段合併 - 它結合了單獨的並行Reduce任務的輸出。這使得可以執行諸如連接和構建笛卡爾產品等任何事情。任何人都可以幫助我怎麼做？我檢查了沒有Hadoop 0.21 API來支持他的功能。

Answer 1

Hadoop是一個MapReduce（而不是MapReduceMerge！）框架，這種情況不太可能發生變化。也就是說，你可以提交一份Jira，或致電http://getsatisfaction.com/cloudera/以獲得官方立場。

如果你需要加入，你應該試試Pig（我有親身體驗的唯一一個，但也有其他人--Hive，...）。豬讓連接非常簡單。