Mapper將值傳給不同的mappers-reducer

Question

我有兩個階段map-reduce hadoop程序。 （mapper1，reducer1，mapper2，reducer2）。我可以直接將一些mapper1鍵值直接傳遞給reducer1和其他一些直接映射到mapper2嗎？

Answer 1

你可以把mapper設置爲你想要reducer1處理的鍵值，同時讓mapper2有一些任意的鍵名（讓我們在類Text.class中任意說「TO_MAPPER_2」 ）。然後你的reducer代碼放在一個if語句中，以便它只在key不是「TO_MAPPER_2」時執行。這將確保您的值不會被reducer處理，並且將通過您使用的任何方法將它們發送到那裏，而不會改變mapper2。