Hadoop作業配置

Question

有人可以解釋我在hadoop的情況下配置的用途是什麼？

而且也給我解釋一下下面的代碼：

// Create a new JobConf 
JobConf job = new JobConf(new Configuration(), MyJob.class); 

// Specify various job-specific parameters  
job.setJobName("myjob"); 

FileInputFormat.setInputPaths(job, new Path("in")); 
FileOutputFormat.setOutputPath(job, new Path("out")); 

job.setMapperClass(MyJob.MyMapper.class); 
job.setCombinerClass(MyJob.MyReducer.class); 
job.setReducerClass(MyJob.MyReducer.class); 

job.setInputFormat(SequenceFileInputFormat.class); 
job.setOutputFormat(SequenceFileOutputFormat.class); 

Answer 1

什麼是Hadoop中的情況下，使用的配置？

如果我明白你問的是正確的，那麼你配置一個Job來知道在你運行MapReduce作業時該怎麼做。

您必須指定輸入&輸出數據類型和位置以及作爲映射器和縮減器的類。

這裏，例如，您正在取得一些"in"目錄的內容並寫出到"out"目錄。通常，這些通過命令行通過new Path(args[0])和new Path(args[1])獲得。

FileInputFormat.setInputPaths(job, new Path("in")); 
FileOutputFormat.setOutputPath(job, new Path("out")); 

在這裏，你的MapReduceJob

job.setMapperClass(MyJob.MyMapper.class); 
job.setCombinerClass(MyJob.MyReducer.class); 
job.setReducerClass(MyJob.MyReducer.class); 

在這裏，您指定輸入和輸出格式設置相應的類。這些必須分別對應於映射器和縮減器的輸入和輸出。

job.setInputFormat(SequenceFileInputFormat.class); 
job.setOutputFormat(SequenceFileOutputFormat.class); 

作業還可以設置一個人類可讀的名稱，以便您可以在ResourceManager中跟蹤它。

job.setJobName("myjob");