Hadoop shuffle使用哪種協議？

Question

在Hadoop數據的混洗階段，映射數據根據reducer的分區跨簇 的節點傳輸。 Hadoop使用什麼協議在reduce節點上執行節點間的數據混洗？

Answer 1

我真的第一次笑了，但整個shuffeling和合並是由HTTPServlet完成。

您可以在匿名類的Tasktrackers源代碼中看到此內容MapOutputServlet它獲取帶有任務和作業ID的HTTP請求，然後它將傳入的輸入流傳輸到磁盤上的本地文件系統。