在hdfs（hadoop）目錄中移動文件時觸發作業

當Hadoop分佈式文件系統中的文件被轉移到特定目錄（通過flume）時，我想觸發作業（配置單元或豬或oozie..etc）。可能嗎？在hdfs（hadoop）目錄中移動文件時觸發作業

2014-02-12 user2645257

它可能是間接的。 Oozie不支持純數據可用性觸發器。您必須設置一定頻率的經常性流量，並將數據可用性作爲附加條件。

這是一個關於Oozie的常見問題，不幸的是文檔很糟糕。

2014-02-12 12:14:35

某些頻率意味着 - 在一個特定的時間間隔？而且如果我使用flume java api傳輸。是否有可能通過該API觸發它？ – user2645257

頻率：http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html#a4._Datetime_Frequency_and_Time-Period_Representation 您創建一個協調程序以執行特定頻率的工作流程，例如，每天下午5點一次。由於數據可用性條件（指定爲輸入事件：http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html#a6.1.4._Input_Events），只有數據可用時，工作流程纔會運行。 Oozie還提供了一個API，你可以用它來啓動一個工作流程（沒有協調器） - 你可以在你猜測Flume傳輸之後用Java來做到這一點。 –

在hdfs（hadoop）目錄中移動文件時觸發作業

回答

相關問題