avro

0熱度

1回答

Debezium連接器的Kafka連接事件是Avro編碼。在傳遞給Kafka連接獨立服務的connect-standalone.properties中提到了以下內容。 key.converter=io.confluent.connect.avro.AvroConverter value.confluent=io.confluent.connect.avro.AvroConverter int

1熱度

1回答

如何使用新舊名稱空間使用avro數據

我遇到了一個問題，我更新了我的avsc模式文件中的名稱空間。由於我們使用Java中創建的通用處理器來解析XML，並使用avsc文件。我們分離了接口並創建了2個不同的名稱空間，現在有2個相同的avsc模式，只是名稱空間不同。由於我們有使用舊名稱空間生成的數據，因此我無法用新名稱空間生成的新數據查詢此數據。這裏是我的架構的例子 - 舊模式 - "type" : "record", "name"

0熱度

1回答

HDFS集羣內與選定列

我使用Avro的文件數據存儲在HDFS複製。我需要從一個avro文件複製選定的列數據並將其發送到同一個集羣中具有其自己的模式文件（具有選定列信息）的另一個位置。我怎樣才能做到這一點？是否可以使用Hive實現？或者HDFS中是否有任何實用工具可以幫助我做到這一點？這是必需的，因爲一組必須能夠訪問整個表，而另一組應該能夠訪問只有幾列。所以，我需要它們只在HDFS中的一個單獨位置，只有所需的模式和av

0熱度

1回答

avro 1.8.1 BigInteger轉換

我們有一個avro字段，它是BigInteger類型的字段之一。但是avro不支持BigInteger。是否有可能在avro中處理BigInteger？我們正在使用avro版本1.8.1

0熱度

1回答

json avro union的編碼

我在我的avro架構中爲favorite_number可能是null或int。當我JSON編碼的對象，我得到： { 「名」：「賈靜雯」，「favorite_number」：{ 「INT」：7}，「favorite_color」：空} 我試圖擺脫對於聯合類型的指示器，在這種情況下的整型，使其變成： { 「名稱」：「阿莉莎」，「favorite_number」：7，「favorite_co

2熱度

1回答

KafkaAvroSerializer無需schema.registry.url序列化Avro

我是Kafka和Avro的noob。所以我一直試圖讓生產者/消費者運行。到目前爲止，我已經能夠生產和消費簡單的字節和字符串，使用下列內容：配置爲製片人： Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("key.serializer

3熱度

1回答

在Avro的文件

我有一個看起來像這樣一些JSON數據存儲空值： { "id": 1998983092, "name": "Test Name 1", "type": "search string", "creationDate": "2017-06-06T13:49:15.091+0000", "lastModificationDate": "2017-06-28

0熱度

1回答

Logstash avro輸出不能被apache解碼avro-tools

我是Logstash和Avro的初學者。我們正在建立一個以logstash作爲kafka隊列生產者的系統。但是，我們遇到了由Logstash產生的avro序列化事件不能被apache提供的avro-tools jar（版本1.8.2）解碼的問題。此外，我們注意到Logstash和avro-tools的序列化輸出不同。我們有以下設置： logstash版本5.5 logstash Avro的編解

0熱度

1回答

基於java文件生成Avro文件

有一些插件可以使用Avro模式生成java文件。有沒有相反的情況？我想生成基於java文件的Avro模式。

3熱度

2回答

Avro與Java 8的日期爲邏輯類型

最新的Avro編譯器（1.8.2）爲基於Joda-Time的實現生成dates logical types的java源代碼。如何配置Avro編譯器來生成使用Java 8日期時間API的源代碼？