Hadoop作業調度查詢

Question

我是Hadoop的初學者。

根據我的理解，Hadoop框架以FIFO順序（默認調度）運行作業。

有什麼辦法可以告訴框架在特定時間運行作業嗎？

即是否有任何方法可以配置爲每天在3PM運行作業？

對此非常感激的任何投入。

謝謝，R

Answer 1

怎麼樣從外部java調度框架，如Quartz調用作業？然後，您可以根據需要運行這項工作。

Answer 2

你可能會考慮使用Oozie（http://yahoo.github.com/oozie/）。它允許（除其他事項外）：

頻率執行：Oozie工作流程規範支持數據 和時間觸發器。用戶可以指定執行頻率，並可以等待數據到達 以觸發工作流中的操作。

它獨立於任何其他Hadoop調度程序，並且應該與其中任何一個調度程序一起工作，因此您的Hadoop配置中可能沒有任何變化。

Answer 3

一下怎麼樣腳本來執行你的Hadoop作業，然後用at命令你想要的工作經常運行一些時間。如果指定要執行，你可以設置一個cron作業來執行你的腳本。

Answer 4

如果Cron沒有削減它和/或定製工作流解決方案，我會使用商業調度應用程序。我們使用名爲jam的解決方案，但請記住它是面向.net的。