在地圖縮小框架中的地圖階段實現

Question

我搜索了很多，我知道在每個地圖任務中，當緩衝區的內容到達一個閾值時，一個線程根據數量減少來分割數據。減少數字的作用是什麼這裏？爲什麼在映射中發生分區？在排序後它如何幫助映射階段？線程會將內容泄漏到磁盤。 它是如何發生的？我不能低估這裏溢出的意思..... 謝謝。

Answer 1

Map需要將數據分區爲reducer輪詢，並從與reducer相關的每個mapper中提取所有數據。

如果您想象得到另一種方式 - 縮減器將每個映射的所有輸出都拉出來，那麼您會將從每個映射器輸出的所有數據輸出到每個reducer - 效率極低。

因此，通過在映射器中進行分區，reducer能夠查詢並拉回每個映射器需要減少的數據。