HADOOP - 作爲映射器輸出產生的輸出文件的數量

Question

我想知道如果只有一個映射器（沒有減速器，沒有組合器等）運行 所有文件分割將會產生多少個文件。

example- 如果有4個文件拆分。那麼有單個映射器將處理所有文件拆分。 作爲映射器輸出的文件數量？ - >一個或四個

Answer 1

每個map任務都會產生一個輸出文件。如果HDFS上有一個文件分成四個塊，則將從「僅Map」作業獲得四個輸出文件。如果輸入文件不是可拆分格式（例如GZip），則它將被合併，並且只有一個映射器將對其執行操作，從而輸出一個文件。