Hadoop已完成和已退休的作業之間的區別

Question

標題使問題變得非常清楚。爲什麼在求職者中有兩個不同的部分是爲了完成和退休的工作？

謝謝。

Answer 1

工作退休是一個從jobtracker的正常程序，將作業堅持到磁盤和清理內存。您可以在the Cloudera blog瞭解更多詳細信息：

一旦工作完成後，會被保存在內存中（最多mapred.jobtracker.completeuserjobs.maximum）和磁盤上按以上。還有是控制已完成作業的整體退休政策的配置值：

重點：mapred.jobtracker.retirejob.interval
默認：24 * 60 * 60 * 1000（1天）
換句話說，完成作業默認一天後退休。就業支票退役默認情況下，每分鐘完成，可以進行控制：

重點：mapred.jobtracker.retirejob.check
默認：（以毫秒60秒）60 * 1000
檢查持續運行，而JobTracker正在運行。如果某項工作已經退役，它將從JobTracker的內存列表中刪除（它也會刪除所有工作任務等）。至少1分鐘（JobTracker.java中硬編碼）的作業完成時間不退休。退休電話還會刪除作業的JobTracker Local（見上文）文件。剩下的就是歷史目錄中每個退役作業的兩個文件（hadoop.job.history.location），加上 - 如果啓用 - 每個作業文件（hadoop.job.history.user.location）。