oozie

1熱度

2回答

我正在使用oozie來運行我的map-reduce作業。我想根據日期創建輸出文件。但是這需要時間作爲一個字符串結束，而不是採取日期值up打印： /user/skataria/geooutput/$(date +"%m%d%Y%H%M%S") 這裏是Oozie的屬性文件： nameNode=hdfs://localhost:8020 jobTracker=localhost:8021 dat

1熱度

3回答

Avro Map-Reduce on oozie

我一直在嘗試在oozie上運行Avro map-reduce。我在workflow.xml中指定了mapper和reducer類，並提供了其他配置。但是它給出了一個 java.lang.RunTime Exception - class mr.sales.avro.etl.SalesMapper not org.apache.hadoop.mapred.Mapper 在Hadoop集羣上直接運

9熱度

1回答

oozie如何處理依賴關係？

我對Oozie的2.3股庫幾個問題：目前，我定義的共享庫中我們coordinator.properties： oozie.use.system.libpath=true oozie.libpath=<hdfs_path> 這裏是我的問題：當份額庫被複制到其他數據節點，並有多少數據節點將獲得共享庫？共享庫是否根據協調器作業中的wf數複製到其他數據節點，還是每個協調器作業只複製一次？

5熱度

2回答

使用oozie爲mapreduce作業寫入多個輸出流的正確方法是什麼？

我正在使用新的Hadoop API編寫一系列map-reduce作業。我打算使用Oozie管線所有這些在一起，但我似乎無法找到一個方法來從工作流程中的一個map-reduce節點做多輸出流。通常寫多路輸出我會用類似於MultipleOutputs javadoc給出的代碼的代碼，但Oozie的會從workflow.xml文件的所有配置，以指定的輸出不能被配置成類似於他們在例子。我遇到過一個th