MapReduce驅動程序的addInputPath錯誤

我在我的MapReduce驅動程序的addInputPath方法中收到錯誤。錯誤是MapReduce驅動程序的addInputPath錯誤

"The method addInputPath(Job, Path) in the type FileInputFormat is not applicable for the arguments (JobConf, Path)"

這裏是我的驅動代碼：

package org.myorg; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.conf.Configured; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IntWritable; 
import org.apache.hadoop.io.Text; 
import org.apache.hadoop.mapred.FileOutputFormat; 
import org.apache.hadoop.mapred.JobClient; 
import org.apache.hadoop.mapred.JobConf; 
import org.apache.hadoop.mapreduce.Job; 
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; 
import org.apache.hadoop.util.Tool; 
import org.apache.hadoop.util.ToolRunner; 

public class WordCount extends Configured implements Tool{ 
    public int run(String[] args) throws Exception 
    { 
      //creating a JobConf object and assigning a job name for identification purposes 
      JobConf conf = new JobConf(getConf(), org.myorg.WordCount.class); 
      conf.setJobName("WordCount"); 

      //Setting configuration object with the Data Type of output Key and Value 
      conf.setOutputKeyClass(Text.class); 
      conf.setOutputValueClass(IntWritable.class); 

      //Providing the mapper and reducer class names 
      conf.setMapperClass(WordCountMapper.class); 
      conf.setReducerClass(WordCountReducer.class); 

      //the hdfs input and output directory to be fetched from the command line 
      **FileInputFormat.addInputPath(conf, new Path(args[0]));** 
      FileOutputFormat.setOutputPath(conf, new Path(args[1])); 

      JobClient.runJob(conf); 
      return 0; 
    } 

    public static void main(String[] args) throws Exception 
    { 
      int res = ToolRunner.run(new Configuration(), new WordCount(),args); 
      System.exit(res); 
    } 
}

我輸入正確的org.apache.hadoop.mapred.FileOutputFormat。

我的WordCountMapper正確地實現了Mapper。

FileOutputFormat.setOutputPath正常工作。

爲什麼addInputhPaths拋出一個錯誤？

來源

2013-12-12 Arun Kumar

問題是，您正在混合舊API（.mapred.）和新API（.mapreduce.）。這兩個API不兼容。

我建議你使用來自新API的所有對象，而不是從舊的API使用任何東西。也就是說，不要使用JobConf或JobClient。改爲使用Job和Configuration。並確保您使用的是Mapper，Reducer等從包括.mapreduce.不.mapred.進口。

來源

2013-12-12 16:54:41

謝謝。在這方面有太多的困惑。這清除了它。 –

對於大多數情況，我完全忽略了舊API的存在。 –

謝謝。你說得很清楚 – Neethu

MapReduce驅動程序的addInputPath錯誤

回答

相關問題