avro

0熱度

1回答

PIG腳本錯誤，雖然試圖以AVRO格式存儲：基準2不在聯合[「空」，「字符串」]

我試圖存儲數據AVRO格式，但無法實現爲什麼我得到錯誤。基準2不在聯合[「null」，「string」]這是什麼意思？解析XML： REGISTER piggybank.jar REGISTER /opt/cloudera/parcels/CDH/lib/pig/lib/avro.jar REGISTER /opt/cloudera/parcels/CDH/lib/pig/lib/json-

1熱度

1回答

如何將DStream轉換爲avro格式並保存在hdfs中的文件

我有一個類型爲[String，ArrayList [String]]的DStream，我想將此DStream轉換爲avro格式並將其保存爲hdfs。我怎麼能做到這一點？

0熱度

1回答

轉換org.apache.avro.generic.GenericRecord到org.apache.spark.sql.Row

我有org.apache.avro.generic.GenericRecord，avro schema利用這一點，我們需要與SQLContext API的幫助下創建dataframe列表，創建dataframe需要RDDorg.apache.spark.sql.Row和avro schema。創建DF的先決條件是我們應該擁有org.apache.spark.sql.Row的RDD，它可以通過使用下

1熱度

2回答

任務試圖寫類型的RDD時不可序列異常通用的記錄

val file = File.createTempFile("temp", ".avro") val schema = new Schema.Parser().parse(st) val datumWriter = new GenericDatumWriter[GenericData.Record](schema) val dataFileWriter = new DataFileWrit

-1熱度

1回答

在Azure的CSV到AVRO轉換

我想將存儲在azure數據湖存儲中的csv文件轉換爲創建方案的avro文件。有沒有任何一種具有相同目的的示例源代碼？

1熱度

2回答

從卡夫卡消費者檢索架構而不使用架構註冊表

我是Avro和Kafka的新手。根據我對avro的理解，所有avro記錄都會附加一個模式。卡夫卡生產者將數據轉換爲字節數組並將其發送給卡夫卡消費者。消費者返回發送的數據。我的問題是如何在不引入模式註冊的概念的情況下從kafka消費者檢索模式。有沒有一種方法可以在不使用模式註冊表的情況下從kafka消費者獲取模式？

0熱度

1回答

Avro Map序列化/反序列化問題

目前我正在使用Avro 1.8.0來序列化/反序列化對象，但是面臨的問題尤其是java.util.Map對象。不面臨與其他類型的對象的問題。樣品這裏的代碼 - class AvroUtils { public byte[] serialize(Object payload) { final ByteArrayOutputStream out = new ByteArray

2熱度

1回答

使反應卡夫卡與合流模式註冊的Avro模式

工作，如何使無功卡夫卡（https://github.com/akka/reactive-kafka）與合流模式註冊的Avro模式工作？下面是我的示例代碼： def create(groupId: String)(implicit system: ActorSystem): Source[ConsumerMessage.CommittableMessage[String, Array[Byte]]

1熱度

1回答

的Avro尋找SnappyCodec拋出NoClassDefFoundError的

我到處都找過網頁，發現這是一個非常常見的錯誤，但沒有解決方案已經幫助了我。我從卡夫卡的主題閱讀。到現在爲止，我還沒有這樣的問題，但現在當我在AWS環境弗林克集羣跑起來，我得到這個錯誤，但不是在我的IDE（的IntelliJ）： NoClassDefFoundError: org/xerial/snappy/Snappy at org.apache.avro.file.SnappyCodec.d

1熱度

1回答

相互記錄相關的模式

我有一個模式，我有兩個包含對方元素的字段的記錄。你如何在Avro中聲明一個記錄，以便你可以在定義之前使用它的聲明。 { "namespace": "mytest", "name": "Foo", "type": "record", "fields": [ {"name" : "bar", "type": ["null", "Bar"]} ], "name": "Bar",