如何在Hadoop中爲FairScheduler使用自定義池分配？

Question

我想利用FairScheduler中的多個池。但是我的所有工作都是由一個代理進程提交的，因此全部屬於同一個用戶。

我已經將mapred.fairscheduler.poolnameproperty設置爲scheduler.pool.name，然後在每個作業中將「scheduler.pool.name」設置爲我想用於該作業的pools.xml中的特定池。 我可以在作業配置網頁中看到這兩個屬性的值都與預期相同，並且調度程序網頁顯示了我嘗試使用的所有池。但是，所有作業仍在池％username％中運行，其中用戶名是用於提交所有作業的用戶的名稱。 我從Cloudera發行版運行hadoop版本0.20.1。

任何想法如何讓我的作業在不依賴於提交作業的用戶名稱的池中運行？

Answer 1

看起來像重新啓動jobtracker不足以影響新的配置。所有任務跟蹤器重新啓動後，jobtracker池分配按預期工作。