oozie

0熱度

1回答

我目前正在解決一個問題，以解決池中NameNode for Data檢查的Oozie協調器問題。作爲一個案例研究，我開始知道雅虎每天運行超過15000個工作。所以如果大部分工作都是數據依賴的，那麼這將成爲NameNode的開銷。我目前正在研究具有3-4節點的集羣，基本上是我們自己的筆記本電腦。但我的教授問我如何能夠如此大規模地驗證我的作品。我必須向他提供一些分析來證明我的解決方案將在這個規模上發揮

3熱度

1回答

捕獲oozie中的sqoop輸出

我有一個Oozie工作流程，應該每隔X分鐘運行一次。它從HBase表中讀取一個值。在此之後，基於上一步中從HBase中讀取的值運行（增量）Sqoop操作。爲了使工作流程正常工作，我需要以某種方式捕獲Sqoop Oozie操作中新的最新值，並將其寫回HBase，並在下一次工作流程運行時再次讀取它...等等。我該怎麼做，或者可能有更好的方法？喬納斯

3熱度

1回答

運行oozie fork時出現LeaseExpiredException

我們正在嘗試使用fork並行運行3個子工作流來運行Oozie工作流。子工作流程包含運行本地映射縮減作業的節點以及後續運行一些複雜作業的兩個節點。最後，這三個子工作流程被連接到一個單一的end節點。當我們運行這個工作流程時，我們得到了LeaseExpiredException。在運行PIG作業時發生異常。發生時沒有確定的位置，但每次運行WF時都會發生。此外，如果我們刪除fork並按順序運行子工作

2熱度

2回答

Oozie shell操作 - 從shell問題運行配置單元問題

基於條件成立，我在shell腳本中執行配置單元-e。它工作正常。當我將此腳本放在Oozie的Shell操作中並運行時，我得到一個scriptName。 sh：第42行：hive：命令未找到異常。我試着在shell操作中傳遞了< env-var> PATH =/usr/lib/hive </env-var>，但我想我在那裏犯了一些錯誤，因爲我得到了同樣的錯誤scriptName。 SH：線42：配置

0熱度

2回答

如何創建從配置單元表到關係數據庫的數據管道

背景：我有一個Hive Table「log」，其中包含日誌信息。該表每小時加載一次新的日誌數據。我想在過去的2天內對日誌做一些快速分析，所以我想將最近48小時的數據提取到我的關係數據庫中。爲解決上述問題，我創建了一個由HIVE SQL查詢加載的登臺配置單元表。在將新數據加載到登臺表後，我使用sqoop Query將新登錄加載到關係數據庫中。問題是sqoop正在將數據加載到BATCH中的關係數

3熱度

2回答

安全Oozie Web控制檯不能從我的Windows機器上工作

我在CentOS 6.3中使用CDH 4.1.2設置了安全（Kerberos）Oozie環境。我可以從服務器託管的CentOS機器查看Oozie Web控制檯。但有沒有辦法從我的本地Windows機器上查看webconsole。我試着用我的windows機器創建一個HTTP主體作爲主機名。我能夠獲得HTTP主體的有效票證。但是，當我打開了Oozie Web控制檯，我收到以下錯誤 org.apac

0熱度

1回答

Oozie：子工作流操作：如何檢索子工作流ID？

我有一個Oozie工作流，它調用另一個工作流來使用<sub-workflow />動作節點調用一些必需的操作。子工作流在以其工作流程標識命名的目錄中創建數據集。我需要處理主工作流中位於該目錄中的數據集（調用另一個工作流的工作流）。爲此，我需要檢索子工作流程的ID。有什麼辦法從調用工作流程中獲取子工作流程的ID？

3熱度

2回答

使用Oozie組合輸出文件部分

是否可以使用Oozie將MapReduce作業的輸出連接成單個文件？可以說我有輸出... part-r-00000 part-r-00001 part-r-00002 ，我只是想...... output.csv 我知道我可以拉下來，與hadoop fs -getmerge一個文件，但我很好奇，如果工作流應用程序和HDFS是可能的。

0熱度

1回答

與開始Oozie的工作流程

我開始Oozie的工作流程問題問題 [[email protected] ~]# hadoop fs -cat /user/hue/oozie/workspaces/hive/hive.sql SELECT * FROM ${INPUT_TABLE} 我得到錯誤： 2013-03-11 06:53:10,196 INFO org.apache.oozie.command.wf.ActionS

4熱度

1回答

Oozie協調員。如何將過去的數據提供給mapreduce工作？

我正在嘗試創建Ooize協調器。問題是我已經有數據等待使用oozie進行處理。想象一下這樣的情況。當前日期是：2013年3月1日（2013年3月1日）我確實有這些輸入目錄： /分期/着陸/源/ xvlr/2013/02/01/00（2013年2月第一個月，每天的第一個小時） /staging/landing/source/xvlr/2013/02/01/01 /staging/landing