Hadoop中的作業和任務調度

Question

當我在閱讀關於延遲公平調度in this slide時，我對Hadoop中的術語「作業調度」和「任務調度」有些困惑。

請糾正我，如果我在下面的假設是錯誤的：

1. 默認調度，調度能力和公平調度在作業級別是唯一有效的多個作業時，由用戶預定。如果系統中只有單一工作，他們不起任何作用。這些調度算法形成「作業調度」的基礎

2. 每個作業可以有多個映射和減少任務，它們是如何分配給每臺機器的？如何安排一項工作的任務？什麼是「任務調度」的基礎？

Answer 1

在公平調度的情況下，當有運行一個作業，該作業使用整個集羣。當提交其他作業時，空閒的任務插槽將分配給新作業，以便每個作業獲得大致相同的CPU時間量。

與默認Hadoop調度程序（它構成一個作業隊列）不同，它可以讓短時間作業在合理的時間內完成，同時不會使長時間作業捱餓。這也是在多個用戶之間共享羣集的簡單方法。公平分享也可以與工作優先級一起工作 - 優先級被用作權重來確定每個工作得到的總計算時間的比例。

CapacityScheduler旨在允許共享大型羣集，同時爲每個組織提供最低容量保證。其核心思想是Hadoop Map-Reduce集羣中的可用資源根據計算需求分爲多個集體資助集羣的組織。還有一個額外的好處是，一個組織可以訪問任何多餘的容量不被他人使用。這爲組織提供了具有成本效益的彈性。