oozie

0熱度

1回答

oozie協調器中的Hive查詢

我使用oozie協調器運行10個配置單元腳本，它在reduce階段以相同百分比沒有任何錯誤地陷入其中一個腳本中，腳本是簡單的插入語句，我在命令行上測試它們工作正常，我該如何調試？

1熱度

1回答

oozie作業配置：沒有XML？

在不使用XML的情況下配置Ooozie工作流程的替代方法有哪些（例如，json，例如很好）。另外我很好奇，如果在python/ruby或其他基於腳本的語言中有寫入oozie配置的綁定。

0熱度

2回答

Oozie將數據加載到配置單元的工作流程

我的任務是創建一個oozie工作流程來每小時將數據加載到Hive表格。我使用色相2.3.0 當我運行命令：LOAD DATA INPATH '/user/username1/data/data3.txt' INTO TABLE raw_data;它完美的工作，數據被加載到配置單元表。 * 當我運行相同的命令上Oozie的工作流程中的工作在66％被殺和錯誤消息是 *主類[org.apache.oo

2熱度

1回答

如何使用oozie.launcher.action.main.class將參數傳遞給Oozie動作？

Oozie的有一個叫oozie.launcher.action.main.class，您可以在「主類」的地圖，減少操作（或外殼動作）的名義通過一個配置屬性，像這樣： <configuration> <property> <name>oozie.launcher.action.main.class</name> <value>com.company.MyCascad

0熱度

1回答

如何從oozie中的workflow.xml中刪除硬編碼值（如緩存文件）並使其變爲動態？

我在workflow.xml文件（如緩存文件） Workflow.xml文件中包含的硬編碼 archivedir /教程udf.jar＃udfjar 我想刪除教程-UDF follwoing罐子硬編碼值.jar硬編碼值並使其變爲動態。我可以通過將硬編碼值寫入job.properies文件並將其傳遞給workflow.xml文件來完成此操作。象下面這樣workflow.xml代碼 /$ {教程-

8熱度

4回答

Oozie的SSH行動

Oozie的SSH行動問題：問題：我們正在嘗試我們的集羣的特定主機上運行一些命令。我們同樣選擇了SSH Action。一段時間以來，我們一直面臨着這個SSH問題。這裏真正的問題是什麼？請指點我的解決方案。日誌： AUTH_FAILED：不能夠執行操作[SSH -o的PasswordAuthentication =沒有-o KbdInteractiveDevices =沒有-o StrictH

0熱度

1回答

來自REST API的簡單oozie shell操作失敗

我正在使用oozie的REST API來調用shell腳本操作。任何包含訪問或使用HDFS的腳本都會失敗。我用這個簡單的腳本 #!/bin/bash -e hadoop fs -touchz aaa 測試當我運行Oozie的工作流程，從調用命令行這個腳本 - 爲「根」 - 它工作正常。當我從REST API調用它，它失敗，錯誤代碼JA018和錯誤消息： Main class [org.ap

1熱度

1回答

如何參數從Oozie的工作流程

傳遞到Hadoop的ToolRunner（或任何MapReduce的動作）在命令行參數可以傳遞給ToolRunner如下： hadoop jar myJar.jar com.Main -Dprop1=prop1value -Dprop2=prop2value 我想引用我的MapReduce工作爲來自Oozie的MapReduce操作的一部分。我試圖在工作流定義屬性如下： <property>

1熱度

1回答

多個MapReduce作業

我需要把多個MapReduce的工作流，以便在大數據集進行一些計算。我打算以加快整體工作使用多個減速爲每個作業。作爲工作流調度程序，我使用Oozie。這裏有一個例子，以澄清我的問題：讓說，我有兩個文件 File 1: File 2: A B 1 A B 3 A C 4 C D 6 B D 2 B D 1 我想有兩個映射器和兩個減速，並得到了MapReduce工作的輸

0熱度

1回答

Oozie包含fork節點的子工作流掛起

我有一個使用子工作流節點的Oozie工作流。子工作流包含少數使用fork機制的動作節點。在觸發父工作流時，可以看到，就在fork（來自子流）之前的所有作業/節點都能夠完美執行，但叉內的節點仍然處於PREP狀態。更糟糕的是，我無法殺死該作業通過使用Oozie的kill命令兩個工作流程（父和子）的Hadoop版本：cDH3u5 Oozie的客戶端生成版本：2.3.2-cdh3u5 我最好的猜測是，有