限制每個用戶併發reducers的數量

Question

有沒有辦法限制hadoop中每個用戶的併發reduce slot數量？我們希望確保任何時候沒有單個用戶使用所有可用的減少插槽。

Answer 1

這可以使用FairScheduler in the current version of Hadoop。您可以爲每個用戶分配一個池，然後設置maxReduces。但是，該選項在FairScheduler with 0.20.203中不可用。這個版本方便地有minReduces沒有maxReduces。