oozie

0熱度

1回答

我有非常簡單的工作流程。 <workflow-app name="testSparkjob" xmlns="uri:oozie:workflow:0.5"> <start to="testJob"/> <action name="testJob"> <spark xmlns="uri:oozie:spark-action:0.1"> <job-tracker>$

0熱度

1回答

Oozie協調員調度使用cron表達式給出錯誤

我已經使用cron表達式頻率=「20 3 * * 2-4」安排了一個協調器，但它給出了錯誤。 oozie協調器日誌說「java.lang.IllegalArgumentException」：paramter [頻率] = [20 3 * * 2-4]必須是一個整數。解析錯誤輸入字符串：「20 * 3 * 2-4」 HDP版本：2.5.3 Oozie的客戶端生成版本：4.2.0.2.5.3.0-

0熱度

2回答

如何在Oozie工作流程中使文件成爲可選文件？

假設我有一個工作流程操作，我需要從hdfs獲取並使用文件（如果存在但不會失敗）。有沒有辦法在工作流程配置中做到這一點？所以，如果我有這樣的事情： <action name="run"> <java> <main-class>AJavaProgram</main-class> ... <arg>-files</arg> <arg>prope

0熱度

1回答

Oozie從shell作業行爲中禁止登錄？

我有一個簡單的工作流程（見下文），它運行一個shell腳本。 shell腳本運行pyspark腳本，該腳本將文件從本地移動到hdfs文件夾。當我運行shell腳本本身時，它完美地工作，日誌通過在shell腳本中> spark.txt 2> & 1重定向到一個文件夾。但是，當我提交oozie工作與以下工作流，從殼的輸出似乎被抑制。我試圖重定向所有可能的oozie日誌（-verbose -log）

0熱度

1回答

我可以在Oozie中運行py spark作爲shell作業嗎？

我有python腳本，我可以通過spark-submit運行。我需要在Oozie中使用它。  <action name="forceLoadFromLocal2hdfs"> <shell xmlns="uri:oozie:shell-action:0.3"> <job-tracker>${jobTr

1熱度

1回答

Oozie Shell動作

我有一個oozie shell動作，它從HDFS txt文件獲取輸入，但每次我調用txt文件時，它說目錄不存在，但它存在於服務器上。這裏是我的shell腳本： #!/bin/bash Ingesta="MUM_APPs" msj="'${1}'" #alerta=`hdfs dfs -test -e /user/inpt_red/oozie/workspace/envio_sms/Env

0熱度

1回答

Hadoop Oozie MapReduce動作自定義分區程序

如何在oozie工作流XML上爲MapReduce操作配置自定義分區程序？我嘗試過使用： <property> <name>mapreduce.job.partitioner.class</name> <value>com.package.MyPartitioner</value> </property> <property> <name>mapreduce.pa

1熱度

1回答

使用oozie包有什麼好處？

我真的沒有得到使用oozie包的好處。對我來說，它看起來只是協調員共享的參數集合，但沒有額外的控制。如果你不在這裏硬編碼這些參數，那麼這只是一個「網關」或屬性的另一個視圖，你必須將其存儲在屬性文件或環境變量中。我認爲有一些價值，我只是沒有得到它。

0熱度

1回答

使用Oozie Java動作無法連接到Hive

我試圖使用Oozie Java動作來讀取Hive表，並且作業失敗，錯誤：「java.io.IOException：NoSuchObjectException（message：sampleDB。測試表未找到）」該表確實存在，如果我本身執行JAR，它完成罰款和做沒有問題蜂巢連接。 Oozie的一步： <action name="sample-step"> <java> <jo

0熱度

1回答

oozie rest api for specific job name aka appname

我正在嘗試使用Rest API獲取特定作業的工作流信息。 http://xxxxx:11000/oozie/v1/jobs?appName=oozie_job_1 這是返回所有作業以及oozie_job_1。我想以某種方式過濾僅顯示給oozie_job_1的信息。我也試過使用 http://xxxxx:11000/oozie/v1/jobs?filter=appName%3Doozie_jo