avro

2熱度

2回答

我最近嘗試從Flink 1.3.2升級到1.4.0，我遇到了一些問題，無法再導入org.apache.hadoop.fs.{FileSystem, Path}。問題是發生在兩個地方： ParquetWriter： import org.apache.avro.Schema import org.apache.avro.generic.GenericRecord import org.apach

1熱度

1回答

Kafka Streams在沒有模式的情況下創建了非主題

我開發了一個java應用程序，它使用Schema Registry從avro主題讀取數據，然後進行簡單的轉換並在控制檯中輸出結果。默認情況下，我使用GenericAvroSerde類來獲取鍵和值。一切正常，只是我必須定義額外配置每個SERDE像 final Map<String, String> serdeConfig = Collections.singletonMap("schema.regi

0熱度

1回答

BQ加載錯誤：在位置893786302.數據塊的大小的Avro解析錯誤27406834大於最大允許值16777216

至BigQuery專家較大，我在這就要求我們代表客戶的購物歷史的過程中工作我們使用前綴將Solr分面的所有最後12個月的交易連接在一個列中。當試圖在BIG查詢中加載這些數據時，我們得到的行下限超過了錯誤。有什麼辦法可以解決這個問題嗎？實際的元組大小約爲64 MB，其中avro限制爲16 MB。 [ ~]$ bq load --source_format=AVRO --allow_quoted_

0熱度

3回答

Avro反序列化錯誤 - ArrayIndexOutOfBoundsException

我的工作流程是 - 我創建avsc文件，使用avrogencpp工具生成C++類並在我的C++應用程序中創建avro二進制編碼數據。我想了解爲什麼方案2不起作用。方案1 test.avsc { "namespace": "com.company.project", "name": "Component_DeviceInfo", "type": "record", "doc": "Ide

0熱度

3回答

來自Kafka的Spark流式傳輸和Avro格式的HDFS寫入

我基本上想要使用來自Kafka的數據並將其寫入HDFS。但發生的情況是，它不是在hdfs中編寫任何文件。它會創建空文件。而且請指導我，如果我想寫在HDF格式的HDFS我如何修改代碼。爲了簡單起見，我寫了本地C盤。 import org.apache.spark.SparkConf import org.apache.kafka.common.serialization.StringDeser

0熱度

1回答

可否將Hive反序列化爲提供的模式？

我有avro文件被加載到蜂巢，但我的文件是二進制。應該使用什麼反序列化器來將二進制代碼轉換爲配置單元？我不想在配置單元中的二進制數據，但解碼的二進制數據。這就是我如何創建我的表。 CREATE TABLE kst7 行格式SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' 存儲爲INPUTFORMAT 'org.apache.hadoop

1熱度

1回答

轉換JSON來的Avro通用的記錄蟒蛇

我有一個問題陳述轉換JSON來的Avro 能否請您給我提供一個參考，我需要的JSON轉換爲Avro的genric記錄在我的Python程序。

0熱度

1回答

Apache Avro for c＃vs Microsoft.Avro.Core

我是avro的新手，並試圖在新項目中實現avro模式序列化。我看到有兩種不同的NuGet軟件包可用，並且想知道兩者之間的區別。微軟的版本：https://github.com/welly87/Apache-Avro-Core（無法找到這方面的任何文件除了Hadoop和蔚藍版） Apache的版本1.7.7.2：https://avro.apache.org/docs/1.7.7/api/csha

2熱度

1回答

AVRO模式的JSON看起來有效，但從Kafka Schema註冊表返回無效

我正在嘗試將AVRO模式註冊到模式註冊表。該模式包含一個記錄和一些字段。我將架構作爲JSON發佈到Schema Registry REST API，雖然JSON看起來很好，但服務器返回curl : {"error_code":42201,"message":"Input schema is an invalid Avro schema"}。有人可以看一下嗎？ Powershell用於生成JSON

1熱度

2回答

Spark與AVI兼容BigQuery

我試圖在Hive中創建一個外部表，並使用存儲在Avro格式的Google存儲中的相同數據在BigQuery中創建另一個表。我使用的是Dataproc集羣星火2.2.0，星火的Avro 4.0.0和2.1.1蜂房有Avro的版本/包之間的差異一樣，但如果我創建使用蜂巢表和然後我使用Spark編寫文件，我可以在Hive中看到它們。但是對於BigQuery是不同的，它能夠讀取Hive Avro文件