avro

0熱度

1回答

背景：我們有一個具有基於jms架構的批處理框架。下面是它的一個簡短的工作。我們有2個queues.one輸入和其他輸出。在輸入隊列中，我們有一個簡單的處理器，它從平面文件中讀取記錄，並將文件拆分成稱爲塊的記錄組。此外，對於每個塊，它會從線程池中產生一個線程，然後爲每個塊創建一個java對象。之後，每個對象都被轉換成一個字符串並進一步轉換爲字節併發送到輸入隊列。在目標端，我們有mdbs等待消息進一

0熱度

1回答

我可以將C＃模型序列化爲AVRO JSON模式嗎？

我已經發現了一些代碼在這裏https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-dotnet-avro-serialization#Scenario2，它的扭轉我需要什麼： //Define the schema in JSON const string Schema = @"{ ""type"":""record"",

0熱度

1回答

如何爲複雜的json文檔定義avro模式？

THIS IS MY JSON的例子： {"ID":2,"name":"Donatello","lastname":"Di Niccoló","age":23,"hobbies":["reading","dancing",{"sports":["rafting","baseball"]}],"address":{"street":"Tepito", "number":"77", "district

1熱度

1回答

avro序列化可選字段

我有一個avdl文件，它有一個記錄，說人包含一個字符串變量，「地址」，這是可選的。此人記錄然後在另一個記錄中用作城市，作爲可爲空的數組（使用與默認值null的聯合）。當我嘗試用dataFileWriter.append（對象）來序列，Avro公司拋出了我一個錯誤：顯示java.lang.NullPointerException：空字符串中的工會陣列的人場地址在城市領域的人員。由於我是新來

-2熱度

1回答

如何將數據從Hadoop Avro源加載到ActivePivot存儲中？

0熱度

1回答

錯誤獲取avro字符串

我正在嘗試使用avro-c做一個簡單的字符串setter getter程序。我的代碼是： avro_value_t frame_value; avro_schema_t frame_schema = avro_schema_string(); avro_value_iface_t *frame_iface = avro_generic_class_from_schema(frame_sc

0熱度

1回答

org.apache.avro.SchemaParseException：未定義的名稱：

仿製藥轉換爲Avro的模式我用下面的註解，但我得到之後 public class Test2<T> { @AvroSchema("{\"type\":\"array\",\"items\":[\"null\",\"Test4\"]}") private Set<T> test4; } public class Test4 { public Integer g

0熱度

1回答

org.apache.avro.SchemaParseException：不能重定義：org.apache.avro.reflect.Pair620b9c15f622a7

我有一類低於 class A { private Map<Long ,Set<Long>> x; private Map<Long ,Set<Long>> y;} 給出的Avro時嘗試透過反射它創建的創建模式這兩個字段的映射名稱爲Pair620b9c15f622a7。因此，我得到的例外 Schema s = ReflectData.get().getSchema(A.class);

0熱度

1回答

卡夫卡架構演變

當我們更改架構的名稱空間並進化它時，模式是否向後兼容？該Landoop UI說，它向後兼容，當我們命名空間更改爲一個新的，但在Avro中的rules 防爆找不到這樣的：舊模式「命名空間」：「com.xxx.yyy.zzz.a」演變架構「namespace」：「com.abc.xxx.yyy.zzz.a」

0熱度

1回答

如何合併蜂巢表的Avro格式具有略微不同的Avro模式格式已經存在的主表

有2個Avro的蜂房格式化表格 MAIN_TABLE，表-A MAIN_TABLE已有的數據。與Main_Table相比，Table_A avro模式有少量附加列。場景是Table_A數據必須與Main_Table合併 Table_A中的列是動態的，它可能會在幾天後更改。如何合併Table_A與Main_Table？