Hadoop FairScheduler的高級內部數據結構和算法？

Question

在較高水平短暫什麼是Hadoop的FairScheduler的內部？ 他們是否使用先決隊列，堆確定保存每個作業等待時間？ 還是使用其他一些技巧？

Answer 1

一個良好的開端是描述公平調度的paper。它詳細描述了算法併爲不同類型的作業提供了基準。簡而言之，它試圖通過提前或者在大型工作崗位上運行小型工作來提高整體集羣吞吐量。在某種程度上，你可以把它描述爲一個優先級隊列，但因爲它試圖把那些數據或機架本地任務，它有不同的權衡，使其更加複雜。大多數調度程序更好地被認爲是最小化算法，因爲試圖減少完成一些任意塊工作所花費的時間。