avro

0熱度

2回答

我有一個Spark作業，它將一些數據處理成多個單獨的數據框。我將這些數據幀存儲在一個列表中，即dataframes []。最後，我想將這些數據框合併爲一個分層格式並將輸出寫入avro。該架Avro模式是這樣的： { "name": "mydata", "type": "record", "fields": [ {"name": "data", "type"

0熱度

1回答

將CSV文件轉換爲scala中的AVRO

我是scala新手。我正在嘗試將CSV文件轉換爲avro格式。我試圖谷歌關於這一點，無法找到任何東西。我已經給出了我使用的示例輸入文件和AVSC格式（再次來自谷歌）。 {"namespace": "example.avro", "type": "record", "name": "User", "fields": [ {"name": "name", "type": "stri

1熱度

1回答

如何在Avro模式中包含多個記錄？

我是Apache Avro的新手。我通過使用Parsers來讀取模式來序列化數據。以下詳細信息包含我的模式。我需要在同一個模式中包含多個記錄。 { "namespace": "tutorial.model", "type": "record", "name": "Employee", "fields": [ {"name": "firstName",

1熱度

2回答

如何將Hive（avro表）與架構註冊表集成？

Hive提供了兩個表屬性，允許定義Avro模式：avro.schema.literal和avro.schema.url，其中前者可以指定爲模式提供服務的hdfs路徑或http端點。我想用Schema Registry爲我的架構服務，但問題是它的endpoints回報模式包裹在一個更大的JSON對象：請求： GET /schemas/ids/1 響應： HTTP/1.1 200 OK Con

-1熱度

1回答

閱讀現有的Avro文件併發送到Kafka

我有一個現有的Avro文件與模式。我需要將文件發送給Producer。以下是我寫的代碼。 public class ProducerDataSample { public static void main(String[] args) { String topic = "my-topic"; Schema.Parser parser = new Schem

1熱度

1回答

通過Kafka和Spark消耗大數據

我在Json中有一個由Websocket提供的流數據，其大小在每秒1MB和60MB之間變化。我得解碼數據然後解析它，最後寫入到mysql。我想2個想法： 1）從插槽中讀取數據，然後對數據進行解碼，並通過Avro公司發送給消費者的生產者，然後來獲取數據並寫入到MySQL的星火地圖，減少消費 2）從Socket讀取數據然後將數據發送到Consumer in Producer，然後在Consum

0熱度

1回答

如何使用Python解碼/反序列化Kafka Avro字符串

我正在從遠程服務器接收Kafka Avro郵件（使用Confluent Kafka Python庫的使用者），它使用帶有字段的用戶代理，位置表示點擊流數據，url等。這裏是一條消息的樣子： b'\x01\x00\x00\xde\x9e\xa8\xd5\x8fW\xec\x9a\xa8\xd5\x8fW\x1axxx.xxx.xxx.xxx\x02:https://website.in/rooms/

1熱度

1回答

將AVRO文件加載到BigQuery時出錯

我已使用bq CLI實用工具將大量AVRO文件（具有相同架構類型的相同表格）加載到Google存儲中。然而，對於一些AVRO文件而載入BigQuery我變得非常神祕的錯誤，該錯誤表示：阿帕奇的Avro庫未能讀取與follwing錯誤數據：EOF 達到（錯誤代碼：無效）採用驗證過的Avro工具的AVRO文件沒有損壞，報表輸出： Java的罐子Avro的工具-1.8.1.jar修復-o報告201

1熱度

1回答

使用python avro庫時的讀取和寫入架構

avro規範允許使用不同的寫入和讀取架構，只要它們匹配即可。該規範進一步允許別名迎合讀寫模式之間的差異。以下python 2.7試圖說明這一點。 import uuid import avro.schema import json from avro.datafile import DataFileReader, DataFileWriter from avro.io import Dat

2熱度

1回答

在Amazon S3存儲桶中創建Avro文件

如何在s3存儲桶中創建Avro文件，然後向其中添加avro記錄。我有所有的字節數組形式的avro記錄，併成功地在一個avro文件中傳輸。但他的文件是（我知道）不是一個完整的avro文件。由於完整的avro文件是模式+數據。以下是在S3中傳輸文件中字節記錄的代碼。任何人都知道如何創建基於avro模式的文件，然後將這些字節傳輸到相同的文件。 public void sendByteData(by