2015-12-01 26 views
1

如何編寫MapReduce程序,其中Mappers的輸出與Reducer和Reducer的輸出到另一個Reducer但在此情況下將只有一個Reducer,因此所有輸出的鍵值對都將輸入同一個Reducer。如何編寫MapReduce Prog,其中Reducers的輸出轉到單個Reducer

+0

你的問題不清楚。你想實現什麼? Mapper-> Reducer->減速?這是你想要的嗎? –

+0

yes .... Mapper-> Reducer-> Reducer(減速器的數量應該是1) – tanay

+0

你不能在MapReduce中做到這一點,沒有第二個映射器(在新作業中) – vefthym

回答

1

我想你想從多個減速器直接輸出到另一個減速器,這是不正確的。您將需要另一個地圖縮小作業,將縮減器輸出傳遞給映射器,並使用單個縮減器獲取單個輸出文件。

+0

正確。使用其他reducer將需要shuffle和sort階段,這是在映射階段結束時執行的。 – vefthym

相關問題