輸出減少一個密鑰一起

Question

我MapReduce的工作與WORDCOUNT示例的值： 輸入數據：

text files 

輸出：

term: fileName occurrences 

地圖輸出：

Term:filename 1 1 1 1 1 

減少輸出：

代碼最終輸出「減速機的輸出」的3210

Term: filename occurences 

例子：

Iphone: file1 4 
Iphone: file2 3 
Galaxy: file1 2 
Htc: file1 3 
Htc file2 5 

輸出我想

Iphone: file1=4 file2=3 
Galaxy: file1=2 
Htc: file1=3 file2=5 

我怎樣才能得到這種情況下，我想過使用分區功能，把我不知道該怎麼做？任何建議？ 在此先感謝

Answer 1

有很多種方法可以實現您想要的輸出，但由於您已經提到過要使用分區程序來做到這一點，所以我們可以這樣做。

根據你的問題，你需要在鍵上創建一個分區器，在這個分區器上你要劃分「Term」（iphone，Galaxy等）輸出。我假設你的地圖輸出鍵格式和值格式是文字，如果不作相應的更改。這是你的分區應該是什麼樣子

public class Partitioners extends org.apache.hadoop.mapreduce.Partitioner<Text,Text>{ 
// I have the written the code if there are 3 reducer(since you have 3 type of key). 
//Tip: your number of reducers should be equal to the no of batches you want to divide your map output into. 
    @Override 
    public int getPartition(Text key, Text value, int numReduceTasks) { 
       String Skey = key.toString(); 
     //Again make changes according to your requirement here but I think it will work according to the composite key you have mentioned 
     String term = Skey.substring(0, Skey.indexOf(':')); 
     if(term.equals("Iphone")) 
     { // this will send all the key having iphone in reducer 1 
      return 0; 
     }else if(term.equals("Galaxy")) 
     { // this will send all the key having Galaxy in reducer 2 
      return 1; 
     } 
     else{ 
      // this will send all the key having other then Iphone and galaxy which is Htc in your case in reducer 3 
      return 2; 
     } 
    } 
} 

現在，一旦分區完成後，我們需要這樣告訴我們的驅動程序類。關於這個附加按照您的驅動程序類

job.setPartitionerClass(Partitioners.class); 
job.setNumReduceTasks(3); //since we want 3 reducers 

這將劃分地圖輸出3分區器，現在您可以在減速器類中相應地減少輸出。

我希望這可以解決您的問題。如果不讓我知道。