oozie

0熱度

2回答

我正在使用HPD-2.4.2並嘗試使用Oozie協調器作業向外部Hive表添加分區。我創建了一個協調者，每天跳跳虎以下工作流程： <workflow-app name="addPartition" xmlns="uri:oozie:workflow:0.4"> <start to="hive"/> <action name="hive"> <hive2 xmlns=

0熱度

1回答

如何獲取從Oozie中的配置單元操作更新的行數

將數據插入配置單元表時，我們可以看到日誌中更新的行數。在oozie中使用配置單元操作時，是否可以在某些變量中獲取該值？

0熱度

3回答

oozie工作的報告

我們如何獲得每天運行的Oozie工作的狀態？我們在Oozie協調員中運行了許多工作，目前我們正在通過Hue/Oozie瀏覽器進行監控。有什麼辦法可以讓我們得到一個單一的日誌文件，其中包含協調員名稱/工作流程名稱與日期和狀態？我們可以編寫任何程序或腳本來實現這一目標嗎？

1熱度

1回答

在單獨的機器上安裝Oozie，然後Hadoop

Oozie非常新，因此請原諒我，如果我聽起來像一個新手。我有一個hadoop集羣正在運行。我想安裝Oozie，這個我想在一個單獨的機器上然後hadoop。這可能嗎？要問的原因是，在我看到的每一個安裝指南都要求在機器上安裝hadoop，因此我不確定是否在技術上有可能在另一臺機器上有hadoop，然後是Oozie。在此先感謝

0熱度

1回答

Hive查詢cli的作品，通過色相失敗

我有一個奇怪的問題與色相（版本3.10）。我有一個非常簡單的蜂巢查詢： drop table if exists csv_dump; create table csv_dump row format delimited fields terminated by ',' lines terminated by '\n' location '/user/oozie/export' as selec

1熱度

2回答

第三方罐子在地圖減少工作

我有我的地圖減少工作依賴像hive-hcatalog-xxx.jar第三方庫的情況。我正在通過oozie運行所有的工作。 Mapreduce作業通過java動作運行。在我的工作中包含第三方庫的最佳方式是什麼？我手上有兩個選項捆綁所有依賴罐子到主瓶和創建脂肪罐子。保留所有相關的罐子在HDFS的位置，並通過-libjars選項哪一個我可以選擇添加呢？請指教。由於我的MapReduce工作通過了

0熱度

1回答

多個文件扶養

Oozie的協調配置是否有可能配置Oozie的協調，可以觸發一個工作流程處理每一個組文件在這些條件下：集團是由我下的簡單定義文件的集合父目錄。每個xx將一組文件加載到其對應的HDFS目錄中。每組文件都代表來自特定數據庫的表格。每組文件都包含在它們自己的父HDFS文件夾中，例如Database1，Database2。文件名是每個父/組文件夾名稱內的所有不同名稱。我想oozie做什麼（即可

0熱度

1回答

動態計算oozie參數（MR動作減速器的數量）

在我的oozie工作流程中，我動態地創建一個配置單元表，如T1。這個配置單元動作之後是一個map-reduce動作。我想設置reducers屬性的數量（mapred.reduce.tasks）等於字段say（T1.group）的不同值。任何想法如何動態地設置一些oozie參數的值以及如何從配置單元不同的動作中獲取參數的值到oozie參數？

0熱度

2回答

Oozie的 - 星火行動>哪裏ojdbc.jar添加訪問Oracle JDBC

我試圖創建下面的命令在Oozie的火花行動： spark-submit --master yarn --class com.spark.sql.jdbc.SparkDFtoOracle --jars /home/oracle/ojdbc7.jar --driver-class-path /home/oracle/ojdbc7.jar testOracleJdbcDF.jar > tmp 這是給

0熱度

1回答

爲什麼FileSystem.get（）返回com.pepperdata.supervisor.agent.resource.DistributedFileSystemWrapperClassic

以下代碼片段是我們生產系統的一部分。 import com.turn.util.hadoop.ConfigurationFactory; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; FileSystem fs = FileSystem.get(Configurati