0
Reduce方法處理來自地圖的分組數據。但我不知道如何減少任務採取組數據？如果地圖輸出很多分組數據，那麼每個減少任務只讀取相同數量的組？什麼是機制？hadoop如何減少任務處理地圖分組數據
A
回答
0
如何減少任務佔用組數據？
據上隨機處理，並且排序相
在此phasedData其由映射器發送由密鑰（像組由（密鑰）），最後它獲得密鑰，列表<>結果進行分組。結果發送給reducer。如果結果需要發送到不同的減速器，則需要考慮與洗牌和排序階段不同的階段。
這個階段是由Hadoop框架完成的，據我所知你沒有任何事情要做或改變這個階段。
也是我建議看看這個問題What is the purpose of shuffling and sorting phase in the reducer in Map Reduce Programming?
相關問題
- 1. 在hadoop中，如何減少任務從地圖任務中拉數據
- 2. Hadoop基礎：地圖任務映射器的數量減少任務減速器
- 3. 如何處理增量更新在Hadoop的HDFS地圖，減少
- 4. 分離Hadoop映射並減少任務
- 5. Hadoop YARN作業在地圖0％處減少並減少0％
- 6. 我如何調試Hadoop地圖減少
- 7. Hadoop地圖減少：算法
- 8. 地圖減少沒有hadoop
- 9. Hadoop的 - 地圖-減少 - java.lang.NoClassDefFoundError
- 10. hadoop - 地圖/減少功能
- 11. Hadoop地圖/減少鏈接
- 12. 如何在地圖中對數據進行排序減少hadoop？
- 13. Hadoop在地圖任務完成前減少
- 14. hadoop-streaming：在待處理狀態下減少任務說「沒有空間來減少任務」。
- 15. Hadoop減少任務停留在0％
- 16. Apache hadoop map減少任務凍結
- 17. 僞分佈式數字地圖和減少任務
- 18. 處理小文件映射減少hadoop
- 19. 地圖和減少任務的排序
- 20. 從地圖處理空效果減少
- 21. 地圖中的大數據文件處理減少
- 22. Hadoop Pipes：如何通過大數據記錄來映射/減少任務
- 23. Hadoop中 - 地圖，減少誤差filesplit
- 24. cygwin的hadoop的地圖，減少問題
- 25. 在Java中減少地圖Hadoop
- 26. 讀取Hadoop的地圖矩陣減少
- 27. RavenDB地圖/按日期分組減少
- 28. CouchDB的地圖，減少和分組
- 29. 如何處理地圖過程中死亡一個數據節點/減少
- 30. 完成減少任務後Hadoop - 映射任務繼續