無法使用Oozie部署Spark作業

我需要保持24/7全天候運行的Spark工作，並且爲此我使用Oozie。爲此，我編寫了一個workflow.xml和job.properties文件，其中包含調用它的必要信息。無法使用Oozie部署Spark作業

然而，當我嘗試使用發送Oozie的作業本：

oozie job –config /home/oozie/tst/job.properties -run

我收到以下錯誤信息，這是很清楚的：

java.io.IOException: configuration is not specified 
     at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816) 
     at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1055) 
     at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686) 
     at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639) 
     at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225) 
configuration is not specified

這裏的問題是，該配置文件（job.properties）在指定的路徑上本地存在。我也PUT在HDFS中包含文件和.jar的目錄。

任何想法爲什麼這是失敗？

Oozie是我有這個任務的最佳工具嗎？

來源

2016-11-15 Navarro

的配置參數接受非本地路徑HDFS。檢查存在的/home/oozie/tst/job.properties job.properties

檢查job.properties包含oozie.wf.application.path=PATH_TO_HDFS_PATH_WHERE_WORKFLOW.XML_IS_PRESENT

另外，我看到破折號（ - ）的配置參數給出的是不同的，那麼破折號（ - ）的運行參數

來源

2016-11-15 13:44:03

1-是的，文件存在本地，路徑也是本地的。 2-這存在於我的具有HDFS路徑的'job.properties'文件中。 – Navarro

檢查我的編輯完成 –

其實這是問題所在。我很震驚。謝謝你的鷹眼。 – Navarro

在命令

oozie job --oozie http://your_host:11000/oozie -config /home/oozie/tst/job.properties -run

11000指定主機是deafult端口

來源

2016-11-15 13:39:45 TKHN

我已經嘗試過，有相同的輸出： '[oozie @ hdpgw01 tst] $ oozie job -oozie hdpgw01：11000/oozie -config /home/oozie/tst/job.properties -smitmit java.io.IOException：未指定配置 at org.apache.oozie.cli.OozieCLI.getConfiguration（OozieCLI.java:816） at org.apache.oozie.cli.OozieCLI.jobCommand（OozieCLI。 java：981） at org.apache.oozie.cli.OozieCLI.processCommand（OozieCLI.java:686） at org.apache.oozie.cli.OozieCLI.run（OozieCLI.java:639） at org.apache。 oozie.cli.OozieCLI.main（OozieCLI.java:225）配置未指定 ' – Navarro

無法使用Oozie部署Spark作業

回答

相關問題