avro

0熱度

1回答

我正在嘗試使用Postman編寫一個非常簡單的架構到註冊表，並且已經很難得到它註冊。註冊一個簡單的模式，這只是整個流程的第一步，還是我在這裏丟失了一些東西？我使用的模式如下： { "schema":{ "type" : "record", "name" : "User", "namespace" : "com.temp.avro.model", "fiel

0熱度

2回答

錯誤插入覆蓋從orc表到avro表？

我是新來這樣的事情的話，請叫我更多，因爲我並沒有給予足夠的澄清問題這些在蜂巢運行這是Avro的表 CREATE EXTERNAL TABLE cm PARTITIONED BY ( `year` STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' STORED as I

0熱度

1回答

Hadoop：查詢/閱讀Avro文件

我將從複雜JSON對象導入的數據存儲爲Avro格式。 JSON對象由具有嵌套對象和對象數組的對象表示。 Avro的模式是這樣的： { "type" : "record", "name" : "userInfo", "namespace" : "my.example", "fields" : [{"name" : "username", "ty

2熱度

1回答

需要幫助推斷NiFi中的json文件的avro模式

我想在NiFi中創建一個流，該流需要一個有效的json文件並使用PutHiveStreaming處理器將其直接放入配置單元表中。我的JSON看起來像下面這樣： { "Raw_Json": { "SystemInfo": { "Id": "a string ID", "TM": null, "CountID": "a string ID",

0熱度

1回答

配置單元不能創建嵌套avro架構表

我想使用嵌套avro架構來創建配置單元表。但它不起作用。我在cdh5.7.2中使用hive 1.1。這裏是我的嵌套的Avro模式： [ { "type": "record", "name": "Id", "namespace": "com.test.app_list", "doc": "Device ID", "fields"

1熱度

1回答

Avro支持Flink - scala

如何閱讀avro來自Flink的scala？是不是同一批次/流/表：StreamExecutionEnvironment/ExecutionEnvironment/TableEnvironment？會是某事像：val custTS: TableSource = new AvroInputFormat("/path/to/file", ...) 下面是java的Avro中實現REF（connec

0熱度

1回答

如何從hbase獲取映像（以avro格式存儲）並存儲在本地文件系統中

我已經使用flume代理將映像（.jpg）傳輸到HBase。現在我想獲取該圖像並存儲在磁盤（本地文件系統）中，是否有可將圖像（存儲爲Avro）轉換爲實際圖像&存儲在磁盤中的實用程序。

0熱度

1回答

Avro消息與模式

因此，我們計劃使用Avro通過基於合流kafka的生態系統進行通信。我目前對Avro的理解是，每條消息都有其架構。如果是這種情況，我們需要模式註冊才能解決版本更新？我問，因爲攜帶每個消息的架構可以防止需要類似模式註冊表來將消息ID映射到架構。或者我在這裏錯過了什麼？

0熱度

1回答

我如何從嵌入架構的Kafka反序列化Avro

我從Kafka主題接收二進制Avro文件，我必須反序列化它們。在Kafka收到的消息中，我可以在每條消息的開始處看到一個架構。我知道不嵌入模式並將其與實際的Avro文件分開是更好的做法，但我無法控制製作人，我無法更改。我的代碼運行在Apache Storm上。首先，我創建一個讀者： mDatumReader = new GenericDatumReader<GenericRecord>();

0熱度

1回答

弗林克讀取自定義類型 - 內含價值的錯誤：'產生的原因：java.lang.NoSuchMethodException：<init>（）`

我想讀avro文件，案例類：UserItemIds包括案例類類型：User，sbt和scala 2.11 case class User(id: Long, description: String) case class UserItemIds(user: User, itemIds: List[Long]) val UserItemIdsInputStream = env.create