oozie

0熱度

1回答

我試圖實現處理日誌文件的工作流程，如果檢測到錯誤，然後從Kill標記：它將消息寫入HDFS作爲日誌文件。 <kill name="fail"> <message>Process failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> *** Is it possible to

0熱度

1回答

Oozie上的嚴格協調員作業排序

我在oozie上有一個協調器，負責運行一系列任務，每個任務都取決於最後一個的輸出。每個任務輸出日期的文件夾，並查找其前身的使用 ${coord:latest(0)} 這一切都工作得很好我的開發羣集上在沒有其他正在運行的輸出;每5分鐘oozie就會排隊等待另一份工作，並在5分鐘內完成上一份工作，所以當新工作設置好後，它會看到它需要的目錄。我遇到了生產集羣上的問題;作業被提交，但被放入隊列中並

2熱度

3回答

我是否需要在oozie中的workflow.xml和job.properties中提供配置？

我tryuing運行工作看起來像這樣（workflow.xml） <workflow-app name="FirstWorkFlow" xmlns="uri:oozie:workflow:0.2"> <start to="FirstJob"/> <action name="FirstJob"> <pig> <job-tracker>hadoop1:50

4熱度

1回答

在hdfs（hadoop）目錄中移動文件時觸發作業

當Hadoop分佈式文件系統中的文件被轉移到特定目錄（通過flume）時，我想觸發作業（配置單元或豬或oozie..etc）。可能嗎？

1熱度

2回答

我們可以在oozie決策節點中使用參數嗎？

我想在Oozie的3.3.2執行決定控制節點但得到javax.servlet.jsp.el.ELException 遇到「{」 <decision name="decision-wf"> <switch> <case to="another_wf"> ${fs:fileSize(${OutputDir}/000000_0) gt 100 } </

0熱度

1回答

在Oozie中爲Avro密鑰定義架構

我是新來的地圖reduce和Avro。我的項目基本上只具有映射函數，它在文本數據和輸出數據的Avro和我已經宣佈我的映射是這樣的： public class AvroMapper extends Mapper(LongWritable, Text, AvroKey<CharSequence>, NullWritable) 我有麻煩設置模式在Oozie的工作流程關鍵。我Oozie的文件配置爲： <p

4熱度

1回答

在oozie工作流程中獲取當前時間

我有一個用例，我需要將當前日期從oozie工作流程傳遞到豬腳本。我知道我可以從豬身上得到當前的日期，但是我的情況與我在動作完成後從oozie傳遞它的地方不同。任何想法如何實現這一目標？而且我還有一個協調員的工作，每個小時執行一次。那麼如何將協調器執行日期傳遞給工作流呢？

0熱度

1回答

REST連接在Oozie Java操作節點中被拒絕，但在Eclipse和命令行中成功

我們有一個Oozie工作流，帶有Java動作節點，它應該調用另一個REST Web服務。讓我們使用示例REST API鏈接http://www.thomas-bayer.com/sqlrest/INVOICE/10作爲示例。我構建了一個小型Java應用程序，可以連接Web服務並打印一些信息。它通過Eclipse實現，在Eclipse和命令行中完美無缺。然後我上傳jar文件，並要求Oozie調用該

1熱度

4回答

運行超過5頭豬和死鎖

我正在同時運行3個以上的豬腳本。但是，所有工作流程都保留下來。我檢查了日誌文件。它總是彈出「心跳」。我的工作流程僅在一個名稱節點上運行。我在網站上檢查問題。看來我可以配置mapred.job.queue.name。但是，我不確定如何使用它。你能給我一些建議嗎？

4熱度

2回答

Oozie停留在PREP狀態

我在運行oozie協調器作業時遇到問題。以下是我的工作屬性和xml文件代碼。提交工作時沒有錯誤，但工作總是處於「準備」狀態。在一定程度的等待之後，我必須手動殺死這個工作。分別執行工作流程作業時，它已成功完成。您能否讓我知道我的合作工作中會出現什麼問題？這裏是我的coordinator.xml 這裏是我的coordinatorjob.properties 感謝，卡萊