2011-08-11 52 views
2

下面是一個例子:hadoop:1個映射多個reducer與每個reducer具有不同的功能?可能?

是否有可能同時使用相同的mapper運行多個reducer?像

map output : {1:[1,2,3,4,5,4,3,2], 4:[5,4,6,7,8,9,5,3,3,2], 3:[1,5,4,3,5,6,7,8,9,1], so on} 

reducer1 : sum of all numbers 
reducer2 : average of all numbers 
reducer3 : mode of all numbers 

act on the the same key like 

reducer1 output: {1:sum of values, 2:sum of values, and so on} 
reducer2 output: {1:avg of values, 2: avg of values and so on} 
reducer3 output: {1:mode of values, 2: mode of values, and so on} 

等等。請讓我知道。

+0

其實很好的問題。 – Adelin

回答

2

我真的很想回答這個問題,但它已被問到。 Hadoop one Map and multiple Reduce

+0

根據您提供的鏈接更改了問題,我想使用相同的鍵 – daydreamer

+0

@daydreamer即使您稍微改變了問題,答案仍然相同。您可能想要查看是否可以使用「遠程」作業進行一些計算,然後進行不同的縮減。 –

1

不,這是不可能的。但是你可以實現你自己的reducer,它會爲你計算所有的東西並輸出它。

你可以爲此定製一個可寫的。

相關問題