在Hadoop中使用哪種協議將數據從映射器複製到Reducers？

Question

我對Hadoop框架用於將映射器輸出（本地存儲在映射器節點上）複製到reducer任務（未在同一節點上運行）的傳輸協議有疑問。 - 閱讀一些使用HTTP進行Shuffle階段的博客 - 同時讀取HDFS數據傳輸（由mapreduce作業使用）直接使用TCP/IP套接字完成。 - 閱讀關於Hadoop權威指南中的RPC。

任何指針/參考將有很大的幫助。

Answer 1

Hadoop使用HTTPServlets進行中間數據混洗。參見下面的圖（Wang等人從JVM-Bypass for Efficient Hadoop Shuffling拍攝。）：

仔細對待看看「JVM-繞道高效Hadoop的洗牌」的工作發表在2013年（full-text available）。