可同時運行多少個Mapreduce作業

Question

我想知道在單個節點hadoop環境中可以同時提交/運行多少個Mapreduce作業。是否有任何限制？

Answer 1

從配置的角度來看，我沒有任何限制。你可以設置地圖的數量，並減少插槽到任何你想要的。但實際上，每個插槽必須啓動一個能夠運行一些hadoop代碼的JVM，這需要一定量的內存，因此最終會導致計算機內存不足。您可能還必須巧妙配置作業隊列，以便同時運行多個作業隊列。

現在，什麼是可能是比什麼是一個好主意，一個非常不同的問題...

Answer 2

配置羣集時會設置Reducer插槽的數量。這將根據每個作業請求的Reducers數量限制MapReduce作業的數量。映射器通常受每個節點的DataNode數量和處理器數量的限制。

Answer 3

您可以提交儘可能多的作業，他們將排隊等候，調度程序將根據FIFO（默認）和可用資源運行它們.Hadoop執行的作業數量將取決於上述John的描述。