什麼時候組合每個映射器輸出

運行的確切時間組合運行，但你在你的驅動程序代碼提合成類，它仍高達Hadoop的決定是否應在每個映射輸出運行。你能解釋一下基於何種基礎（是否有任何重重法則或公式或公式）hadoop決定這個合併器工作的執行。什麼時候組合每個映射器輸出

2014-01-29 user3249826

組合器映射器後減速之前運行。它針對每個映射器輸出運行。它可以看作是映射器的一部分，所以減速器的輸入實際上是組合器的輸出。每個映射器可能包含許多映射任務，所以這可能會讓你感到困惑。它作爲一個「微型減速機」，這意味着它組所有具有相同的密鑰（映射器的輸出），但該值僅適用於已經從映射器輸出，而不是所有的數據數據，不像減速機。

請參閱本Yahoo Tutorial瞭解更多詳情。

來源

2014-01-30 07:51:17 vefthym

感謝您的答覆。但我的問題是它究竟運行的時間？假設說我已經明確地聲明瞭我的驅動程序代碼中的組合器類，並說我的映射器輸出較少，組合器運行在這種情況下？ – user3249826

你的意思是什麼？少於什麼？如果您在驅動程序代碼中設置了組合器類，組合器將在任何情況下運行。如果你沒有地圖輸出，那麼它將不會運行。 – vefthym

我紅在一些論壇上說，在組合上沒有泄漏的運行......任何人都可以解釋這是如何工作的？ – user3249826

什麼時候組合每個映射器輸出

回答

相關問題