Mapreduce：比mappers更多的reducers？

Question

在我的分佈式系統課程中，我們開始討論分佈式計算的map reduce模型。在map-reduce體系結構中擁有比映射器更多的reducers的好處是什麼？

注：谷歌搜索這個問題，提供了在這個問題上意見衝突。

Answer 1

假設你的數據量很小，那麼你就需要在運行並行處理輸入文件中這麼多的映射器。

然而，如果由映射器產生的<key,value>雙大&多樣，話很有道理有更多的減速，因爲你可以處理更多的<key,value>雙並行數。

讓我們考慮您的映射器輸出具有10個按鍵，與每個鍵關聯100個值的情況下，所以如果你有10個減速器，您可以並行處理所有的按鍵。

現在假設你的映射器輸出100項，在每個鍵10個值。然後有100個reducer將並行處理所有密鑰。 （當然也會有涉及與具有100個減速運行一次網絡費用）

所以基於這樣的映射器的輸出，你可以在減速的最佳數量決定數據的類型。