如何在Hadoop 1.0.4中鏈接mapper/reducer？

Question

我正在使用Hadoop 1.0.4的「新」API（包org.apache.hadoop.mapreduce中的類）。當我想鏈接mapper/reducer時，我發現ChainMapper，ChainReducer是爲「舊」API（包org.apache.hadoop.mapred中的類）編寫的。我該怎麼辦？

Answer 1

我也在尋找相同的東西。我確實得到了答案，儘管晚了，我還是認爲分享這可能會幫助某人。

從Hadoop的2.0起，你可以找到ChainMapper和ChainReducer在包org.apache.hadoop.mapreduce.lib.chain

ChainMapper使用模式：

... 
Job job = new Job(conf, "MyJob"); 

Configuration map1Conf = new Configuration(false); 
... ChainMapper.addMapper(job, AMap.class, LongWritable.class, Text.class, Text.class, Text.class, true, map1Conf); 

Configuration map2Conf = new Configuration(false); 
... ChainMapper.addMapper(job, BMap.class, Text.class, Text.class, LongWritable.class, Text.class, false, map2Conf); 

Configuration map3Conf = new Configuration(false); 
... ChainReducer.setReducer(job, CReducer.class, Text.class, Text.class, LongWritable.class, Text.class, false, map3Conf); 
... 

job.waitForComplettion(true); 
... 

Answer 2

請閱讀這個post。這顯示瞭如何使用兩個JobConf來啓用Map Reduce Jobs的鏈接，而不是使用ChainMapper/ChainReducer。