使用Hadoop共享集羣

Question

是否可以將Hadoop設置爲可以與集羣上的其他應用程序良好地配合使用？

我熟悉Torque + Maui資源調度程序，並且使用HadoopOnDemand來配置臨時Hadoop集羣。但是，如果很多人想要使用Hadoop，那會變得非常麻煩：每個人都有同樣的設置和拆卸迷你hadoop集羣，複製他們自己的HDFS上的和關閉數據的難題等等。

它會如果我們可以有一個永久性的Hadoop實例運行，那麼人們可以共享一個總是在運行的HDFS。這需要Hadoop智能地將工作分配給不忙於其他應用程序的節點（比如說R），而不是在排隊作業時貪婪。

這可能嗎？

Answer 1

這不是公平調度程序的作用嗎？

http://hadoop.apache.org/mapreduce/docs/r0.21.0/fair_scheduler.html

我們用它來運行一個永久的Hadoop集羣有30個用戶。您可以讓它搶佔重新分配到新池的任務，並且可以爲每個池設置單獨的優先級。