「地圖輸出物化字節數」vs「地圖輸出字節數」

Question

在hadoop作業計數器中，「地圖輸出物化字節數」與「地圖輸出字節數」有什麼區別？我沒有看到前者當我禁用地圖輸出壓縮，所以我猜這是真正的輸出字節（壓縮），而後者是未壓縮的字節？

Answer 1

我認爲你是對的。 從http://hadoop.apache.org/docs/r1.0.4/releasenotes.html：

MAPREDUCE-2365。 FileInputFormat（BYTES_READ）和FileOutputFormat（BYTES_WRITTEN）的新計數器。用於壓縮MapOutputSize的新計數器MAP_OUTPUT_MATERIALIZED_BYTES。 （亞洲時報Siddharth賽斯）

（變化由於Hadoop的0.20.2）

.............................. .................................................. .................................................. .................

以下是湯姆白色的 「Hadoop的權威指南」 一帖，第三版（表8-2，261頁）：

「映射輸出物化字節數」 - 實際寫入磁盤的映射輸出的字節數。如果啓用了地圖輸出壓縮，則會反映在計數器值中。

「映射輸出字節數」 - 作業中所有映射產生的未壓縮輸出的字節數。每次在地圖的OutputCollector上調用collect()方法時都會增加。