我是hadoop的新手,我寫了幾個作業並將它們導出爲jar文件。我可以使用hadoop jar命令運行它們,我希望每隔一小時運行一次這些作業。我該怎麼做呢?提前致謝。如何在hadoop中安排作業
2
A
回答
3
Hadoop本身沒有辦法按照您的建議安排工作。所以你有兩個主要的選擇,Java的時間和調度功能,或者從操作系統運行作業,我會建議Cron。我個人使用cron來做到這一點,它非常簡單且非常靈活,並且在大多數服務器上默認安裝。還有很多教程。
Cron示例在每小時的第一分鐘運行。
0 * * * * /bin/hadoop jar myJar.jar
如果你想保持它的Java內部本身,我建議檢查出這個問題,其中有細節和代碼,How to schedule task for start of every hour。
3
你可以通過編寫一個cron或者一些腳本來實現。但在我看來,更好的方法是使用一些調度程序,如Oozie。
0
0
添加另一種選擇的cron & Oozie的,Quartz Scheduler
相關問題
- 1. 如何使用BMC Control-M安排Hadoop作業?
- 2. 如何在hadoop作業中優化混洗/排序階段
- 3. 如何登錄Hadoop作業?
- 4. 如何殺死hadoop作業
- 5. 如何從另一個hadoop作業提交hadoop作業
- 6. 如何在AWS中爲hadoop Mapreduce作業創建作業jar
- 7. 如何在代碼中找到hadoop作業的作業ID?
- 8. 安排Oracle作業
- 9. 如何在並行hadoop作業中運行stando hadoop distritbuion 0.20.0
- 10. 如何在應用程序引擎中安排cron作業?
- 11. 如何在Linux中安排批處理作業
- 12. Quartz.Net(2.2.3)安排新作業
- 13. 安排Spark Streaming作業
- 14. hadoop作業中的org.apache.hadoop.fs.BlockMissingException
- 15. Hadoop的 - 在作業配置
- 16. 如何讀取Hadoop Sequentil文件作爲Hadoop作業的輸入?
- 17. 執行Hadoop作業
- 18. 提交Hadoop作業
- 19. Hadoop作業配置
- 20. 在窗口上安排作業
- 21. 如何在hadoop-1.0.4中禁用作業設置和作業清理任務
- 22. zookeeper如何確定hadoop作業的'java.library.path'?
- 23. Hadoop作業如何自己殺死
- 24. Hadoop。如何從Mapper獲得作業
- 25. 如何在工作中安排工作
- 26. Hadoop Streaming作業vs普通作業?
- 27. 在Hadoop 1.2.0中配置作業內存
- 28. 在Hadoop中鏈接多個MapReduce作業
- 29. Hadoop Streaming作業在python中失敗
- 30. 在Hadoop作業中啓用JMX
這可能並不是一個好的建議,因爲Falcon和Jenkins的目的都與OP想要的不同。另外,詹金斯可能無法在客戶網站上使用。我會推薦塔裏克的&greedybuddha的答案。 – KNP 2017-09-13 21:32:17