Cloudera中的Oozie Spark操作未啓用Spark歷史記錄日誌

我試圖按照此說明啓用Spark Oozie操作的歷史日誌。 https://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SparkActionExtension.html Cloudera中的Oozie Spark操作未啓用Spark歷史記錄日誌

爲了確保您的工作星火星火歷史服務器中顯示出來，請務必指定這三個星火配置屬性或者與--conf或oozie.service.SparkConfigurationService.spark.configurations

火花選擇採用

spark.yarn.historyServer.address = http://SPH-HOST:18088
spark.eventLog.dir = HDFS：// NN：8020 /用戶/火花/ applicationHistory
spark.eventLog.enabled =真

確定指標的工作流程如下：

<action name="spark-9e7c"> 
    <spark xmlns="uri:oozie:spark-action:0.1"> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <master>yarn-cluster</master> 
     <mode>cluster</mode> 
     <name>Correlation Engine</name> 
      <class>Main Class</class> 
     <jar>hdfs://<MACHINE IP>:8020/USER JAR</jar> 
      <spark-opts> --conf spark.eventLog.dir=<MACHINE IP>:8020/user/spark/applicationHistory --conf spark.eventLog.enabled=true --conf spark.yarn.historyServer.address=<MACHINE IP>:18088/</spark-opts> 
    </spark> 
    <ok to="email-f5d5"/> 
    <error to="email-a687"/> 
</action>

當我從一個shell腳本歷史記錄日誌測試是正確的方式記錄但Oozie的動作日誌不會被正確記錄。我已經設定了所有三個propeties。

來源

2016-07-29 Alchemist

你好請檢查我的答案，而不是火花選擇採用試圖通過像我的回答 –

提到的說法。如果你是沒事的答案，請標誌向上「接受由業主「Thx –

非常感謝您的及時響應RamPrasad。我按照您在配置部分中的建議移動了這些屬性。現在，我可以將/ user/spark/applictionHistory位置記錄爲.inprogress。但仍然無法在歷史記錄服務器中看到任何日誌。 – Alchemist

以我的經驗，我認爲你已經在錯誤的地方通過了論點。

請參考下面的XML片斷

<?xml version="1.0" encoding="UTF-8"?> 
<workflow-app xmlns='uri:oozie:workflow:0.4' name='sparkjob'> 
    <start to='spark-process' /> 
    <action name='spark-process'> 
     <spark xmlns='uri:oozie:spark-action:0.1'> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <configuration> 
      <property> 
       <name>oozie.service.SparkConfigurationService.spark.configurations</name> 
       <value>spark.eventLog.dir=hdfs://node1.analytics.sub:8020/user/spark/applicationHistory,spark.yarn.historyServer.address=http://node1.analytics.sub:18088,spark.eventLog.enabled=true</value> 
      </property> 
      <!--property> 
       <name>oozie.hive.defaults</name> 
       <value>/user/ambari-qa/sparkActionPython/hive-config.xml</value> 
      </property--> 
      <!--property> 
       <name>oozie.use.system.libpath</name> 
       <value>true</value> 
      </property--> 
      <property> 
       <name>oozie.service.WorkflowAppService.system.libpath</name> 
       <value>/user/oozie/share/lib/lib_20150831190253/spark</value> 
      </property> 
     </configuration> 
     <master>yarn-client</master> 
     <!--master>local[4]</master--> 
     <mode>client</mode> 
     <name>wordcount</name> 
     <jar>/usr/hdp/current/spark-client/AnalyticsJar/wordcount.py</jar> 
     <spark-opts>--executor-memory 1G --driver-memory 1G --executor-cores 4 --num-executors 2 --jars /usr/hdp/current/spark-client/lib/spark-assembly-1.3.1.2.3.0.0-2557-hadoop2.7.1.2.3.0.0-2557.jar</spark-opts> 
     </spark> 
     <ok to='end'/> 
     <error to='spark-fail'/> 
    </action> 
    <kill name='spark-fail'> 
     <message>Spark job failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
    </kill> 

    <end name='end' /> 
</workflow-app>

來源

2016-07-29 18:14:00

Cloudera中的Oozie Spark操作未啓用Spark歷史記錄日誌

回答

相關問題