調用的MapReduce兩次

Question

我在這裏以下字數教程：https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_WordCount_v1.0

，我可以產生一個詞出現的頻率格式：

word frequency 
1 1 
2 2 
3 3 
4 1 
5 2 
6 1 

不過，現在我需要組頻率像這樣：

frequency count 
1   3 
2   2 
3   1 

基本上，對於每個頻率，找出出現頻率。我將如何修改代碼以顯示此內容？我覺得我必須修改IntSumReducer，但我從來沒有真正使用過Hadoop。

Answer 1

而不是從示例中修改SumReducer，您應該完全創建新的作業，從字數統計程序的輸出中運行。

您的映射器將需要輸出頻率作爲鍵和整數1作爲值。你可以編寫你自己的reducer或者只使用例子中使用的reducer。