2017-07-14 73 views
0

我已使用Azure HDInsight羣集中的coordinator.xml調度了oozie工作流程。oozie工作流正在調度Azure HDInsight Spark2羣集中的每個1分鐘而不是10分鐘

由oozie計劃的火花作業的時間間隔爲10分鐘,但我的火花作業每隔一分鐘運行一次。

我coordinator.properties:

startTime=2017-07-04T12:49Z 
endTime=2017-07-05T12:44Z 
timeZone=UTC 
concurrency=1 
frequency=12 
workflowRoot=${oozie.coord.application.path} 
nameNode=wasb://[email protected]s.net 
jobTracker=hn0-edmspa.xxxsdf.hx.internal.cloudapp.net:8050 
queueName=default 
oozie.use.system.libpath=true 
Spark_Master=yarn 
Spark_Mode=cluster 
Spark_Driver=locationDataMetrics.IdentificationMetrics 
numExecutors=2 
driverMemory=4G 
executorMemory=2G 
executorCores=2 
workflowRoot=wasb://[email protected]et/datainput9 
oozie.coord.application.path=wasb://[email protected]et/datainput9 
sparkJar=demospark-0.0.1-SNAPSHOT.jar 

我coordinator.xml文件:

<coordinator-app end="${endTime}" frequency="${frequency}" name="oozieTimeCoordinator" start="${startTime}" timezone="${timeZone}" xmlns="uri:oozie:coordinator:0.1"> 
    <controls> 
    <concurrency>${concurrency}</concurrency> 
    </controls> 
    <action> 
    <workflow> 
     <app-path>${workflowRoot}</app-path> 
    </workflow> 
    </action> 
</coordinator-app> 

我怎麼能修改此Oozie的工作流調度在10或15分鐘安排?

+0

定義「頻率」的另一種方法是使用CRON表示法,例如, '5月15日* * * *'將在每個小時4次開始工作流程,時間爲05 - 20 - 35 - 50分鐘。這有點更可預測。參看https://oozie.apache.org/docs/4.3.0/CoordinatorFunctionalSpec.html#a4.4.3._Cron_syntax_in_coordinator_frequency –

回答

0

您可以指定頻率= 240,並檢查Oozie工作流程調度程序是否按照十分鐘進行調度?

欲瞭解更多詳情,請參閱 「如何指定在Oozie的調度」:

Scheduling jobs

Frequency and Time=-Period Representation in Oozie

+0

第二個鏈接指向Oozie的*非常*舊版本... V3.1.3發佈近5年以前,目前的穩定版本是4.3(參見https://oozie.apache.org/docs/) –