使用mapreduce轉換AVRO的XML文件（Java）

Question

我有一個使用mapreduce轉換xml文件avro格式的任務。請有人建議我完成這項任務的方法。

如果有一些示例代碼，它會非常有幫助。

提前致謝。

感謝， Rackto

Answer 1

構建的MapReduce與XmlInputFormat（像這樣的https://github.com/apache/mahout/blob/ad84344e4055b1e6adff5779339a33fa29e1265d/examples/src/main/java/org/apache/mahout/classifier/bayes/XmlInputFormat.java），一個AvroKeyValueOutputFormat和你的映射器或地圖/機內部特定的業務邏輯：

job.setInputFormatClass(XmlInputFormat.class); 
job.setOutputFormatClass(AvroKeyValueOutputFormat.class); 
AvroJob.setOutputKeySchema(job, Schema.create(Schema.Type.STRING)); 
AvroJob.setOutputValueSchema(job, Schema.create(Schema.Type.INT));