何時會需要「無映射器」？

Question

我在某些使用案例中一直沒有使用減速機作業，但是我從未遇到過「無映射器」作業。 「沒有Mapper」意味着mapreduce框架仍然會讀取輸入文件並以某種方式對它們進行排序/排序（基於InputFormat？），這些將成爲我的reducer的輸入？

Answer 1

「無映射器」是「身份映射器」的委婉語。默認的映射器，如果你沒有指定一個就是這樣。至少，身份映射程序將未改變的輸入引導至右縮減分區。

Answer 2

對於基於輸入密鑰的一些聚合函數，身份映射器是有意義的。映射器將發出與輸入相同的I/O鍵，並且reducer將聚合特定鍵的值。

Answer 3

如果您在使用Hadoop的流：

-mapper "/bin/sh -c \"cat\""