oozie

1熱度

1回答

我有一個oozie工作流，它運行sqoop命令以基於lastupdatedate從表中逐步加載數據。如何設置-last-value以便我們從上次運行作業到現在獲得記錄？

0熱度

1回答

發現我們有一個運行Hadoop集羣的2.3，其中JAVA_HOME設置爲： (cluster etc/profile) $ echo $JAVA_HOME = /usr/lib/jvm 運行Oozie的檢查形式Ambari導致「一切OK」，但在運行任何Oozie的命令，我們當出現錯誤，例如： $ oozie version $ /usr/hdp/2.3.0.0-2557/oozie/bin

0熱度

1回答

Oozie Shared Lib：放置罐子的位置

我已經安裝了Cloudera CDH QuickStart VM 5.5，並且在Oozie工作流程中運行了Sqoop操作。我遇到一個錯誤，說MySQL JDBC驅動程序丟失，我遇到了一個SO回答here，說mysql-connector-java.jar應放在Oozie的HDFS共享lib路徑下，在sqoop路徑下。但是，當我瀏覽Oozie的HDFS共享lib路徑時，我注意到有兩個sqoop子目

0熱度

1回答

Oozie在MS Azure Blob存儲中共享庫

使用標準HDFS命令在HDFS（Azure存儲Blob）中創建結構時，我們能夠創建目錄結構。但使用標準的官方程序使用我們無法安裝oozie共享庫。有什麼建議嗎？提前致謝。 [[email protected] oozie-server]$ ./bin/oozie-setup.sh sharelib create -fs "wasb://[email protected]" setti

3熱度

1回答

HUE，YARN和OOZIE之間的區別

我理解HDFS和Map Reduce的概念，以及將處理邏輯移動到數據以提高效率的重要性。我甚至可以在我的基本Hadoop集羣上運行幾個map reduce任務。在這些概念的周圍，有很多不同的技術，如YARN，HUE，OOZIE，它們似乎都做同樣的事情（至少從很高的層面來看），這是作業的可見性和CRUD能力（可以是map-reduce或者是其他東西）。我是否正確地做出了這個假設，還是兩者之間存在更

0熱度

1回答

從oozie提交豬作業

我正在使用hadoop集羣中的oozie自動化豬作業。我能夠從oozie運行示例豬腳本，但是我的下一個要求是運行豬作業，其中豬腳本從shell腳本接收輸入參數。請分享你的想法

0熱度

2回答

基於Oozie觸發文件的協調器。觸發文件不是從小時文件夾

我想創建一個與依賴文件的協調器 - 觸發文件。我的協調員的頻率是5分鐘。超時時間爲4分鐘。我的目標是協調員只有在創建指定的觸發器文件時才應該執行工作流程。在沒有創建觸發文件的情況下，協調員應該等到文件創建並在第4分鐘結束時超時。協調員觸發工作流程後，工作流程將刪除觸發器文件。每當源數據更新時都會觸發該文件，因此我們必須再次運行工作流程。觸發器文件可能會一天出現多次，所以我將協調器頻率設置爲5

2熱度

1回答

Oozie shell操作：exec和文件標籤

我是Oozie的新手，我已經閱讀了一些Oozie shell操作示例，但是這讓我對某些事情感到困惑。有些例子我看過沒有<file>標籤。一些示例，像Cloudera的here，重複文件標籤殼腳本： <shell xmlns="uri:oozie:shell-action:0.2"> <exec>check-hour.sh</exec> <argument>${earthqu

1熱度

1回答

Oozie電子郵件操作附件

我想獲得一個hdfs位置並將其作爲電子郵件附件提供給oozie電子郵件操作。我的hdfs位置只能使用shell操作找到。現在我該如何傳遞我的shell動作的輸出，這將是我的oozie電子郵件動作的hdfs路徑。這可以使用oozie實現嗎？ <workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1"> ...

0熱度

1回答

通過oozie運行spark任務時獲取java.lang.NoSuchFieldError：INT_8錯誤

當我嘗試在Cloudera 5.5.1版本上使用OOzie執行spark任務時，我正在獲取java.lang.NoSuchFieldError：INT_8錯誤。任何幫助，將不勝感激。請在下面找到錯誤stackstrace。 16/01/28 11:21:17 WARN TaskSetManager: Lost task 0.2 in stage 20.0 (TID 40, Zlab-physr