指定併發hadoop作業中的地圖槽數

Question

我有一個hadoop系統正在運行。它共有8個地圖插槽並行。 DFS塊大小爲128M。

現在假設我有兩個工作：他們兩個都有很大的輸入文件，比如說一百G.我希望他們在hadoop系統中並行運行。 （因爲用戶不想等待，他們希望看到一些進展。）我希望第一個地圖插槽平行放置5個地圖插槽，第二個地圖插槽在其他3個地圖插槽上運行。有可能指定地圖插槽的數量嗎？目前我使用命令行啓動它作爲Hadoop jar jarfile classname輸入輸出。我可以在命令行中指定它嗎？

非常感謝您的幫助。

Answer 1

可以使用調度程序完成資源分配。經典Hadoop使用JobQueueTaskScheduler，而YARN默認使用CapacityScheduler。根據Hadoop的documentation

本文檔介紹了CapacityScheduler，Hadoop的一個可插拔的調度，它允許用於多租戶安全地共享使得它們的應用程序及時下的分配容量限制分配的資源一大簇。