當輸入文件小於地圖節點時，hadoop調度器如何工作

Question

在我的情況下，我需要知道在Jobcontrol中是否有2個作業，然後我有200個地圖節點，我的塊大小是64 MB，因此完整處理數據應該是（64 * 200 = 12.8GB）但第一作業大小爲10 GB如果地圖節點具有空插槽，hadoop如何做？ Hadoop將處理隊列中的第二份工作或等待第一份工作地圖減少完成並處理第二份工作或其他方式請建議

Answer 1

如果您使用Hadoop的FIFO調度程序並以同一用戶身份運行2個作業，則第二個作業只有在運行第一個作業時有足夠的空閒Map/Reduce插槽時纔會開始運行。即使有任何問題，調度員也會優先考慮第一份工作。因此，Hadoop將在第二份工作計劃之前等待第一份工作足夠完成。

通常不建議文件小於輸入分割大小，因爲與單個大文件相比，namenode必須管理更多的文件inode。