mapreduce中的reducers hadoop

Question

我只有一個關鍵字從mapper發射到reducer，並且我設置了no的reducer爲10.因此，一個reducer將在該關鍵點上運行，還有其他剩餘的9個reducer會執行哪些操作？

Answer 1

其他9個reducer將像平常一樣運行其生命週期，他們只是在運行後不會有任何鍵/值進行處理，因此他們會很快停止。因此，當他們不必要地運行時，你會浪費資源。

一般來說（大多數輸出​​格式都是這樣做的）同樣發現你最終得到了一個部分文件，用於減少運行但沒有寫入任何內容。零件文件不包含任何實際的數據只是文件元數據，例如gzip頭文件。

Answer 2

其他9個reducer將運行，直到他們的時隙結束。

他們不會有任何K/V對來處理和快速停止。

您可以使用自定義分區程序將地圖輸出均勻地分發到所有縮減程序; - 至少爲第一級;並在最後階段通過一個減速器最終結合 - 從而減少大部分減速階段的計算負荷。