我已使用Azure HDInsight羣集中的coordinator.xml調度了oozie工作流程。oozie工作流正在調度Azure HDInsight Spark2羣集中的每個1分鐘而不是10分鐘
由oozie計劃的火花作業的時間間隔爲10分鐘,但我的火花作業每隔一分鐘運行一次。
我coordinator.properties:
startTime=2017-07-04T12:49Z
endTime=2017-07-05T12:44Z
timeZone=UTC
concurrency=1
frequency=12
workflowRoot=${oozie.coord.application.path}
nameNode=wasb://[email protected]s.net
jobTracker=hn0-edmspa.xxxsdf.hx.internal.cloudapp.net:8050
queueName=default
oozie.use.system.libpath=true
Spark_Master=yarn
Spark_Mode=cluster
Spark_Driver=locationDataMetrics.IdentificationMetrics
numExecutors=2
driverMemory=4G
executorMemory=2G
executorCores=2
workflowRoot=wasb://[email protected]et/datainput9
oozie.coord.application.path=wasb://[email protected]et/datainput9
sparkJar=demospark-0.0.1-SNAPSHOT.jar
我coordinator.xml文件:
<coordinator-app end="${endTime}" frequency="${frequency}" name="oozieTimeCoordinator" start="${startTime}" timezone="${timeZone}" xmlns="uri:oozie:coordinator:0.1">
<controls>
<concurrency>${concurrency}</concurrency>
</controls>
<action>
<workflow>
<app-path>${workflowRoot}</app-path>
</workflow>
</action>
</coordinator-app>
我怎麼能修改此Oozie的工作流調度在10或15分鐘安排?
定義「頻率」的另一種方法是使用CRON表示法,例如, '5月15日* * * *'將在每個小時4次開始工作流程,時間爲05 - 20 - 35 - 50分鐘。這有點更可預測。參看https://oozie.apache.org/docs/4.3.0/CoordinatorFunctionalSpec.html#a4.4.3._Cron_syntax_in_coordinator_frequency –