未能在HDP 2.5.0中的Oozie上運行Spark操作（java.lang.IllegalArgumentException：Invalid ContainerId）

我試圖運行一個簡單的Spark Java應用程序。我可以運行火花提交我們的集羣應用未能在HDP 2.5.0中的Oozie上運行Spark操作（java.lang.IllegalArgumentException：Invalid ContainerId）

我job.properties文件如下：

nameNode=hdfs://auper01-01-20-01-0.prod.vroc.com.au:8020 
jobTracker=auper01-02-10-01-0.prod.vroc.com.au:8050 
master=yarn-cluster 
queueName=default 
#examplesRoot=examples 
oozie.use.system.libpath=true 
oozie.wf.application.path=${nameNode}/user/livy 
oozie.libpath=${nameNode}/user/oozie/share/lib/lib_20161001110339/spark

在oozie.libpath

，我有兩個文件，一個是Oozie的-sharelib火花-4.2 .0.2.5.0.0-1245.jar和另一個是我的火花應用程序罐

workflow.xml文件位於我的（用戶/ livy）目錄中，我也向應用程序jar上傳了該目錄以及避免沒有得到火星提交的分類的experion，文件如下：

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkExample'> 
    <start to='spark-node' /> 

    <action name='spark-node'> 
     <spark xmlns="uri:oozie:spark-action:0.1"> 
      <job-tracker>${jobTracker}</job-tracker> 
      <name-node>${nameNode}</name-node> 
      <master>${master}</master> 
      <name>Spark-Oozie</name> 
      <class>au.com.vroc.mdm.SimpleApp</class> 
      <jar>${nameNode}/tmp/simple-project/mdm-mahdi.jar</jar> 
     </spark> 
     <ok to="end" /> 
     <error to="fail" /> 
    </action> 

    <kill name="fail"> 
     <message>Workflow failed, error 
      message[${wf:errorMessage(wf:lastErrorNode())}] 
     </message> 
    </kill> 
    <end name='end' /> 
</workflow-app>

我可以sucesfully initite Oozie的，並得到一個應用程序ID，當我去Oozie的日誌我的日誌火花有波紋管例外

2017-05-26 16:51:01,880 ERROR [main] org.apache.hadoop.mapreduce.v2.app.MRAppMaster: Error starting MRAppMaster 
java.lang.IllegalArgumentException: Invalid ContainerId: container_e20_1489119643653_0943_02_000001 
     at org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:182) 
     at org.apache.hadoop.mapreduce.v2.app.MRAppMaster.main(MRAppMaster.java:1343) 
Caused by: java.lang.NumberFormatException: For input string: "e20" 
     at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65) 
     at java.lang.Long.parseLong(Long.java:589) 
     at java.lang.Long.parseLong(Long.java:631) 
     at org.apache.hadoop.yarn.util.ConverterUtils.toApplicationAttemptId(ConverterUtils.java:137) 
     at 

org.apache.hadoop.yarn.util.ConverterUtils.toContainerId(ConverterUtils.java:177) 

    ... 1 more

不知道爲什麼我得到上面的錯誤，任何幫助，將apprecited。

來源

2017-05-26 Luckylukee

確保您的應用程序jar不包含任何依賴項（這可能會導致此問題）。這個問題報告在HDP和IBM。

來源

2017-08-17 20:00:53

未能在HDP 2.5.0中的Oozie上運行Spark操作（java.lang.IllegalArgumentException：Invalid ContainerId）

回答

相關問題