oozie

1熱度

2回答

我嘗試使用下面Oozie的獲得當前的時間戳： <property> <name>date</name> <value>${coord:formatTime(coord:dateOffset(coord:nominalTime(), -1, 'DAY'), "yyyy-MM-dd")} </value> </property> 我的蜂巢行動是： <script

1熱度

1回答

如何安排OOZIE作業，如果在給定文件夾中發生任何更改？

我想安排一個基於文件夾的oozie作業，即我在HDFS位置有一個文件夾，每天有一個文件將以date.txt格式（exp：20160802.txt）添加到該文件夾中。我想安排一個OOZIE批處理，如果有任何新文件添加到該文件夾中。請幫我解決這個問題，我該如何安排在我的用例場景中。在此先感謝。

3熱度

3回答

OOzie Spark：代碼101錯誤

我對Oozie返回給我的錯誤有些疑惑。說明：我在Oozie的創建了一個非常簡單的「工作」時，XML是： <workflow-app name="Massimiliano" xmlns="uri:oozie:workflow:0.5"> <start to="spark-2adf"/> <kill name="Kill"> <message>Action fa

1熱度

1回答

使用OOZIE將文件從HDFS的一個目錄移動到HDFS中的其他目錄？

我試圖從HDFS的一個目錄複製文件到HDFS中的其他目錄，作爲oozie作業的一部分的shell腳本的幫助，但我不能通過oozie複製它。我們可以使用oozie將文件從HDFS目錄複製到HDFS中的其他導向器。 when i am running the oozie job, i am not any getting error. it is showing status SUCCEEDED

-1熱度

1回答

得到錯誤，同時運行與Oozie的蜂巢工作在

Status: Failed Vertex failed, vertexName=Map 1, vertexId=vertex_1470692453676_0866_1_00, diagnostics=[Task failed, taskId=task_1470692453676_0866_1_00_000000, diagnostics=[TaskAttempt 0 failed, info=

0熱度

1回答

在Hadoop上運行的Oozie作業問題 -/user/history/done_intermediate上的權限

首先介紹一點背景知識。我有一個測試CDH羣集，有兩個節點。我正在嘗試執行Oozie作業，下載文件，使用SPARK處理它，然後在Solr中對其進行索引。羣集被配置爲使用Kerberos身份驗證。的CDH版本是5.7.1 當我嘗試運行與Oozie的工作，使用以下命令： oozie job --oozie https://host:11443/oozie/ -run --config oozieE

0熱度

1回答

如何刪除oozie中排隊的協調員作業？

在測試作業時，我提交了多個錯誤的作業，現在正在定期運行。我應該用-dryrun選項進行測試。我想從隊列中刪除所有這些計劃作業，以便它們不會在下一次計劃（下一個實現）上運行。我試圖用下面的命令來殺死這個工作。它仍然顯示在oozie控制檯中成功。我在這裏錯過了什麼嗎？請幫忙。 oozie job -kill <-C_id>

1熱度

1回答

如何在全局配置中從Oozie設置配置單元屬性

我想將hive set命令傳遞到Oozie腳本中的所有hql調用中。我有許多hql，我想將hive參數傳遞給每個hql.I用於在每個hql文件中編寫所有set命令，現在我想保留在工作流程級別。任何人都可以建議如果我做錯了什麼。我已經把我的工作流程的一部分。當執行作業時，我看不到配置單元參數不會傳播，因此作業失敗。 <workflow-app name="WF_AMLMKTM_L1_LOAD" x

0熱度

1回答

火花上的Hive在色相中不起作用

我試圖用火星接口觸發火花上的Hive。從命令行運行時該作業完美，但當我嘗試從色調運行時它會拋出異常。在色調，我想主要有兩點： 1）當我給使用集.hql文件中的所有屬性命令 set spark.home=/usr/lib/spark; set hive.execution.engine=spark; set spark.eventLog.enabled=true; add jar /usr/l

2熱度

1回答

如何配置前一天的Oozie協調員數據集

我想根據先前日期的控制文件的可用性來運行工作流程。我的目錄中的日期格式是$ {basePath} /YYYYMMdd/00/_Complete.I要檢查我的00內部的_Complete文件。我的作業將每天在前一天的數據上運行。我嘗試了類似問題中提供的選項，但仍然無法正常工作。例如，當我測試當天數據的值低於數值時，它正在工作，但沒有使用（-1）選項。對URI-TEMPLATE格式有任何限制，這意味着