在Hadoop mapreduce中，所有映射器都需要與所有reducer進行通信嗎？

Question

在mapreduce我知道mappers不互相溝通。 但是，所有的製圖人員都需要與所有減速器進行交流。

Answer 1

它取決於映射器生成的一組鍵。如果它沒有產生任何需要由特定減速器處理的鑰匙，則它可能根本不需要與減速器通信。但是映射器產生的密鑰通常取決於其輸入，並且輸入可能因作業而異，所以對於某些作業可能（甚至可能），每個映射器都需要將數據發送到每個reducer。