使用oozie安排一個scala文件？

如何運行/調度使用oozie使用spark-shell命令運行的.scala文件？使用oozie安排一個scala文件？

我運行使用火花殼-i combined.scala
命令這個文件！

我想知道是否有特定的東西，如我們如何安排在oozie豬工作在這裏！

按照大衛的建議，我已經創建的XML：

<workflow-app xmlns='uri:oozie:workflow:0.2' name='oozie-java-spark-wf'> 
    <start to='java-spark' /> 

    <action name='java-spark'> 
    <spark xmlns="uri:oozie:spark-action:0.1"> 
      <job-tracker>${jobTracker}</job-tracker> 
      <name-node>${nameNode}</name-node> 
      <master>yarn-cluster</master> 
      <name>Spark Patent Citation</name> 
      <class>org.apache.spark.repl.Main</class> 
      <jar></jar> 
      <arg>-i</arg> 
      <arg>${nameNode}/user/hdfs/scala_file/combined.scala</arg> 
</spark> 


    <ok to="end"/> 
    <error to="fail"/> 
    </action> 

    <kill name="fail"> 
     <message>Spark Java PatentCitation failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
    </kill> 
    <end name="end"/> 
</workflow-app>

我得到這樣的錯誤：

錯誤代碼JA018 錯誤消息Main類[org.apache.oozie.action。 hadoop.SparkMain]，main（）拋出異常，null

我在哪裏出錯了？

來源

2016-03-09 Ujjwal SIddharth

沒有爲Oozie的火花行動：

Oozie Spark Action

火花殼只是一個包裝圍繞org.apache.spark.repl.Main - 只是指定爲0，並通過在-i和combined.scala爲<arg/>值。

來源

2016-03-09 13:07:18

該jar元素表示一個逗號分隔的jar或python文件列表。不是「.scala」文件 –

我編輯了我的答案 - spark-shell只是一個底層Java類的包裝。 –

感謝您的快速反應大衛:) –

使用oozie安排一個scala文件？

回答

相關問題