有多個減速器在HDFS中創建多個輸出文件

如果我有多個減速器，輸出將被保存爲多個文件？有多個減速器在HDFS中創建多個輸出文件

如果我有job.setNumReduceTasks(4)，輸出會寫入4個不同的文件嗎？

是的，每個減速器一個輸出。嘗試一次，你會明白 – Chaitanya

在map-reduce作業中，如果設置了4個reducer來實現reducer作業。通過這樣做，最終的輸出將生成4個部分文件。像部分-R-00001，部分-R-00002，部分-R-00003，部分-R-00004。希望這可以澄清你的疑惑。

2015-08-19 07:58:24

非常感謝解釋，所以如果我們有多個減速器，說如果我必須計算一個統一的價值，說一個最大數量，我將如何做到這一點？說如果我有4個減速器，那麼輸出將是基於分區的不同減速器的4個最大數量？ –

在這種情況下，您爲什麼需要使用減速機？ Mapper可以處理您的請求。 –

Mapper服務器如何能夠整合請求？我們將有多個映射器爲一個Job提供服務，這會生成關鍵值對，聚合發生在哪裏？即使我們使用組合器，它也將特定於映射器的輸出。這有點混亂，你能否詳細說明你的答案？謝謝！ –

回答