MapReduce：如果值不在閾值以上，則篩選出鍵值對

Question

使用MapReduce，如何修改以下字數計數碼，使其僅輸出高於某個計數閾值的字？ （例如，我想添加某種鍵值對的過濾。）

輸入：

ant bee cat 
bee cat dog 
cat dog 

輸出：讓說計數閾值是2個或更多

cat 3 
dog 2 

---

繼代碼是：http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Source+Code

public static class Map1 extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> { 
    private final static IntWritable one = new IntWritable(1); 
    private Text word = new Text(); 

    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { 
    String line = value.toString(); 
    StringTokenizer tokenizer = new StringTokenizer(line); 
    while (tokenizer.hasMoreTokens()) { 
     word.set(tokenizer.nextToken()); 
     output.collect(word, one); 
    } 
    } 
} 

public static class Reduce1 extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> { 
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException { 
    int sum = 0; 
    while (values.hasNext()) { 
     sum += values.next().get(); 
    } 
    output.collect(key, new IntWritable(sum)); 
    } 
} 

---

編輯：RE：約輸入/測試用例

輸入文件（ 「example.dat」）和一個簡單的測試的情況下（ 「測試用例」）被在這裏找到：https://github.com/csiu/tokens/tree/master/other/SO-26695749

---

編輯：

問題不是代碼。這是由於org.apache.hadoop.mapred包之間的一些奇怪行爲造成的。 （Is it better to use the mapred or the mapreduce package to create a Hadoop Job?）。

點：使用if語句代替org.apache.hadoop.mapreduce

Answer 1

嘗試增加的收集輸出降低了。

if(sum >= 2) 
    output.collect(key, new IntWritable(sum)); 

Answer 2

你可以做過濾在降低1類：

if (sum>=2) { 
    output.collect(key. new IntWritable(sum)); 
}