oozie

1熱度

2回答

我試圖使用協調器運行工作流，但是當我嘗試將工作流和協調器XML文件路徑設置在一起時，出現錯誤。這是我jobs.properties文件看起來像： nameNode=hdfs://10.74.6.155:9000 jobTracker=10.74.6.155:9010 queueName=default oozie.use.system.libpath=true oozie.wf.appl

1熱度

2回答

我應該使用oozie永久運行MapReduce任務嗎？

我有一個mapReduce任務（https://github.com/flopezluis/testing-hadoop），它讀取文件夾中的文件並將它們附加到一個zip文件中。我需要永遠運行這個任務，所以當它完成處理它們時，它應該再次運行。我正在閱讀關於oozie的內容，但我不確定它是否最適合，因爲可能對我的問題來說太大了。如果oozie是最好的解決方案。如果我寫一個協調員每10分鐘運行一次，如

7熱度

2回答

工作流工具兼容：Oozie Vs級聯

我正在尋找一個工作流工具來運行復雜的map-reduce作業。我在考慮Oozie的同時也想探索Cascading。是否有示例代碼或示例使用級聯API鏈接現有的M/R作業？另外，你可以提供比較Oozie Vs級聯？

0熱度

2回答

以本地模式運行的Hadoop作業。但Oozie作業以分佈模式運行

在我們的集羣上，即使是最簡單的作業「wordcount」也以本地模式運行。但以前的作業使用oozie運行，我們觀察到它們以集羣模式運行。本地hadoop工作與使用oozie運行的hadoop作業有衝突嗎？這裏是錯誤堆棧跟蹤 - java.lang.IllegalArgumentException: Can't read partitions file at org.apache.hado

2熱度

2回答

停止Oozie工作流程執行

昨天我啓動了一個oozie工作流程。它開始了兩整天都停滯不前的工作。今天早上我殺了他們，做了一個我現在想測試的改變。殺了兩份工作之後，就像工作流程變得不穩定，現在正在進行。我想殺掉工作流程，所以它不會繼續開始新的工作來取代我所殺的工作。我怎麼能在oozie命令行中做到這一點？

0熱度

1回答

通過oozie連接到HBase時出現異常。

當我試圖通過Oozie的連接到HBase的，我得到了以下異常： `Failing Oozie Launcher, Main class [com.sample.util.HBaseBulkLoad], main() threw exception, org.apache.h[email protected]6f36e7f3 closed java.io.IOException: org.apac

0熱度

1回答

oozie拋出錯誤java.lang.IncompatibleClassChangeError：找到接口org.apache.hadoop.mapreduce.Counter，但期望的類

我寫了一個mapreduce類，其中我使用計數器時，我執行mapreduce代碼我得到這個錯誤 java.lang.IncompatibleClassChangeError: Found interface org.apache.hadoop.mapreduce.Counter, but class was expected at MyProg.run(Unknown Source)

1熱度

1回答

oozie可以忽略缺少的輸入文件嗎？

在我Oozie的coordinator.xml文件，我有以下定義爲輸入目錄： <property> <name>countingHourlyInputDir</name> <value>${coord:dataIn('hourly-input')}/*Pattern1*,${coord:dataIn('hourly-input')}/*Pattern2*</value> </

2熱度

5回答

sqoop導出失敗通過oozie

我想輸出數據到mysq升從hdfs到sqoop。我能夠通過shell運行sqoop並且工作正常。但是當我通過oozie調用時。它出現在錯誤和失敗之後。我還包括罐子。沒有desciptive日誌 sqoop腳本： export --connect jdbc:mysql://localhost/bigdata --username root --password cloudera --verbose

2熱度

1回答

蜂房負荷數據分離的絕對文件路徑

隨着參考下面的蜂房命令列表： LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] 我能給的絕對文件路徑的逗號分隔的列表？ LOAD DATA INPATH 'hdfs://foo/bar1,hdfs://foo/bar2