0
如果我修改了io.sort.factor和io.sort.mb,地圖上發生的本地排序是否使用這些變量,還是僅用於reducer端的排序?Hadoop配置 - 是受io.sort.factor和io.sort.mb影響的映射器/合併器嗎?
如果我修改了io.sort.factor和io.sort.mb,地圖上發生的本地排序是否使用這些變量,還是僅用於reducer端的排序?Hadoop配置 - 是受io.sort.factor和io.sort.mb影響的映射器/合併器嗎?
是的,他們在地圖上側使用過(無論你是否有一個組合與否):
io.sort.factor
- 線1695io.sort.mb
- 線932 - 944