什麼時候在mapreduce作業執行中分配reducer的數量/節點？

Question

當看到有關MapReduce的，我讀了以下有趣的臺詞：

「但如何做減速的知道哪個節點來查詢，以獲得他們的 分區出現這種情況通過應用程序主由於每個 映射器實例？完成後，它會通知有關 它在其運行過程中產生的分區的應用程序主機。每個減速 直到 收到的節點託管其分區的最終名單將定期查詢爲映射主機應用程序主機。「

我在這裏有一個疑問。當他們說每個減速器究竟是什麼意思？減速器是否會在地圖階段開始之前分配，以及減速器節點如何選擇？

Answer 1

減速器可以在地圖完成數據處理之前啓動。一旦他們啓動，他們就可以從映射器中提取數據，但只有在所有映射器完成數據處理之後纔會開始處理。

mapred.reduce.slowstart.completed.maps是配置此行爲的屬性。有關酒店here的更多信息。