2014-03-12 78 views
2

我想編排我的EMR作業。所以我認爲oozie會很合適。我在Oozie工作流程上做了一些POC,但是在本地模式下,它非常簡單而且非常棒。如何在EMR集羣中運行/安裝oozie

但我不明白如何在EMR集羣上使用oozie。 基於一些搜索,我知道aws並不是隨oozie一起提供的,所以我們已經明確地將它安裝爲bootstrap動作。 大多數人訪問此鏈接 https://github.com/lila/emr-oozie-sample

但因爲我是新來的AWS(EMR),我仍然感到困惑如何使用它。 這將是偉大的,如果任何人都可以簡化它爲我提供一些步驟或東西。

感謝

回答

0

這GitHub的項目安裝了Oozie爲好,這樣你就不需要照顧它。對於Oozie的安裝配置是下一個環節:

https://github.com/lila/emr-oozie-sample/blob/master/config/config-oozie.sh

之後,有一個你可以在命令行執行一些任務: 創建: SSH: sshproxy: socksproxy:

因此,如果你遵循他的指示,你只需要運行一些這些任務來創建和執行一個使用Oozie的EMR任務。

0

首先,這不是一個直接的答案這個問題。

EMR集成了數據管道 - 亞馬遜自己的調度程序和數據工作流程編排器。亞馬遜希望您使用帶有EMR的數據管道。它可以創建,啓動和終止EMR集羣,管理集羣生命週期等。評估以查看是否更適合您的需求。

2

我有一些問題,我發佈到AWS技術支持,我得到了下面的答覆。我試了一下,Oozie全部安裝並運行,不需要額外的努力。

爲了在EMR集羣上安裝Oozie,您需要安裝Hue。原因是目前在EMR上的Oozie被安裝爲Hue的依賴項。根據http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html,AMI 3.3.0和3.3.1支持色相。啓動安裝了Hue - >http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hue.html的EMR集羣后,您應該能夠立即使用Oozie,因爲它已經被配置並啓動。