具有聚合器功能的Hadoop組合器

Question

當使用聚合器功能中的一個代替reducer時，Hadoop是否足夠智能以便使用組合器相同的功能階段？

Answer 1

它們實現部分相同的目的，但聚合器是更通用的，可用於組合器不能的情況。

所以這是一個確定的否，聚合器不會被自動用作組合器。如果你希望它被用作組合器，你將不得不這樣指定它。

從級聯報價，「Combiners are limited to Associative and Commutative functions only, like 'sum' and 'max'. And in order to work, values emitted from the Map task must be serialized, sorted (deserialized and compared), deserialized again and operated on」