是否可以爲map-reduce生成多個輸出文件？

Question

在我的輸入文件中，我有一個列作爲國家。現在，我的任務是將某個國家的記錄放入與該國家名稱相同的單獨文件中。這可能在Map-reduce中做到。 請分享你的想法。

Answer 1

是的，在hadoop中，您可以使用MultipleOutputFormat來做到這一點，使用它的generateFileNameForKeyValue方法。

使用您的國家名稱作爲鍵和記錄作爲值，這應該完全按照您的需要工作。

Answer 2

如果您使用的是新API，則應該查看MultipleOutputs類。這個班內有一個例子。作業提交

使用模式：

 



    Job job = new Job(); 

    FileInputFormat.setInputPath(job, inDir); 
    FileOutputFormat.setOutputPath(job, outDir); 

    job.setMapperClass(MOMap.class); 
    job.setReducerClass(MOReduce.class); 
    ... 

    // Defines additional single text based output 'text' for the job 
    MultipleOutputs.addNamedOutput(job, "text", TextOutputFormat.class, 
    LongWritable.class, Text.class); 

    // Defines additional sequence-file based output 'sequence' for the job 
    MultipleOutputs.addNamedOutput(job, "seq", 
     SequenceFileOutputFormat.class, 
     LongWritable.class, Text.class); 
    ... 

    job.waitForCompletion(true); 
    ... 

用法在減速：

 


    String generateFileName(K k, V v) { 
     return k.toString() + "_" + v.toString(); 
    } 

    public class MOReduce extends 
     Reducer { 
     private MultipleOutputs mos; 
     public void setup(Context context) { 
      ... 
       mos = new MultipleOutputs(context); 
      } 

     public void reduce(WritableComparable key, Iterator values, 
       Context context) 
       throws IOException { 
      ... 
    mos.write("text", , key, new Text("Hello")); 
    mos.write("seq", LongWritable(1), new Text("Bye"), "seq_a"); 
    mos.write("seq", LongWritable(2), key, new Text("Chau"), "seq_b"); 
    mos.write(key, new Text("value"), generateFileName(key, new Text("value"))); 
    ... 
     } 

    public void cleanup(Context) throws IOException { 
     mos.close(); 
    ... 
    } 
    }