在Oozie中將作業安排爲文件觸發器

Question

使用oozie我們可以在hadoop中提交作業，是否可以通過文件的可用性來觸發作業提交。例如，在將文件成功複製到hdfs之後，Oozie必須提交作業。那可能嗎 ？

Answer 1

使用數據集中的'done-flag'標籤。像

<datasets> 
    <dataset name="dataset1" frequency="${coord:hours(1)}" 
      initial-instance="${startTime}" timezone="UTC"> 
     <uri-template> 
     ${dataRoot}/${YEAR}/${MONTH}/${DAY}/${HOUR}/ 
     </uri-template> 
     <done-flag>_SUCCESS</done-flag> 
    </dataset> 

</datasets> 

如果完成標誌設置爲空，則協調器會查找目錄本身的存在。 如果_SUCCESS（或標籤中指定的任何文件名）文件存在於您的目錄中，則協調器將繼續進行。請參閱 - https://oozie.apache.org/docs/3.1.3-incubating/CoordinatorFunctionalSpec.html