正在運行的定期hadoop工作（最佳實踐）

客戶能夠隨時上傳網址到數據庫和應用程序應該儘快處理url。所以我需要定期hadoop作業運行或從其他應用程序自動運行hadoop作業（任何腳本標識新鏈接被添加，爲hadoop作業生成數據並運行作業）。對於PHP或Python腳本，我可以設置cronjob，但是定期運行hadoop的最佳做法是什麼（爲hadoop準備數據，上傳數據，運行hadoop作業並將數據移回數據庫？）正在運行的定期hadoop工作（最佳實踐）

來源

2010-06-29 victor

定義什麼可以'儘快' - 一小時？一天？半秒？ MapReduce有很大的延遲，如果是後者，你可能需要找到另一種解決方案。 – 2012-01-16 05:32:09

如果您想讓url請儘快處理，我們建議您等待一些鏈接（或MB鏈接，或者例如每天10分鐘）
然後批量處理它們（我每天都在做我的處理，但是這個工作需要幾個小時）

來源

2010-06-29 11:15:32 wlk

看看Oozie，它是Y！的新工作流系統，它可以根據不同的觸發器運行作業，Alejandro在這裏提出了一個很好的溢出： http://www.slideshare.net/ydn/5-oozie-hadoopsummit2010

來源

2010-07-08 03:01:35

正在運行的定期hadoop工作（最佳實踐）

回答

相關問題