avro

0熱度

1回答

我有一個Spark作業，在編寫的COPY部分失敗。我已經在S3中處理了所有的輸出，但在計算如何手動加載時遇到了問題。 COPY table FROM 's3://bucket/a7da09eb-4220-4ebe-8794-e71bd53b11bd/part-' CREDENTIALS 'aws_access_key_id=XXX;aws_secret_access_key=XXX' for

0熱度

1回答

Maven命令行拋出ArrayIndexOutOfBoundsException在添加Avro依賴項時

我是Maven的新手，並且在Windows 64位計算機上安裝了3.5.0。如https://avro.apache.org/docs/1.8.2/gettingstartedjava.html中所述，我在pom.xml中添加了Avro依賴項。我對着構建失敗並得到ArrayIndexOutOfBoundsException命令行做mvn clean compile時： [DEBUG] ======

0熱度

1回答

Kafka連接到MSSQL服務器十進制轉換

我們使用Confluent JDBC connector從MS SQL數據庫提取數據。我們在提取列數據格式爲decimal(10,2)的小數列時遇到了問題，它將數據作爲字節而不是十進制進行傳遞。 "charge":{"bytes":"\u0006Iô"}（這是從消費者的控制檯獲取並顯示模式註冊表結構）。有沒有人看到過這種行爲與連接器之前，知道我們會怎麼去解決？ Cheers

0熱度

2回答

Flink Avro 1.8.1 NoSuchMethodError在羣集上運行時

我們運行Flink 1.3.0 CEP作業並依靠Avro 1.8.1（LogicalType在Avro 1.7.7中不存在）來序列化複雜事件（如POJO）。它的工作從IDE（的IntelliJ）中運行時，但是當我們打包的jar文件並將其部署到集羣中，我們得到： java.lang.NoSuchMethodError: org.apache.avro.Schema.setLogicalType(Lo

0熱度

2回答

csv到avro沒有apache spark在斯卡拉

有沒有一種方法可以將一個scv文件轉換爲Avro而不使用Apache Spark。我看到大部分帖子都使用了火花，這在我的情況下是無法實現的。我有一個單獨的文件中的架構。我正在考慮一些使用Schema並將csv轉換爲avro的自定義序列化器和反序列化器。任何一種參考都適合我。謝謝

1熱度

1回答

空指針異常/未找到當我嘗試在Avro模式中處理和吸收數據時出現異常

我正在使用處理器來使用來自主題的字節數組serdes的字節數組數據，將它們處理爲通用記錄（基於模式I從我的HTTP GET請求獲得）並將它們發送到具有格式化avro模式註冊表的主題。我沒有問題從HTTP GET請求中檢索架構，並根據它來映射我的數據以生成架構之後的通用記錄。然而，當我試圖把它沉到的話題，我得到一個空指針異常： org.apache.kafka.common.errors.Seri

0熱度

1回答

databricks avro模式無法轉換爲Spark SQL結構類型

我們有kakfa hdfs連接器以默認avro格式寫入hdfs。樣品O/P：的OBJ^A^B^Vavro.schema 「[」空」，「字符串」]^@ $Í³ø{< 9D>¾Ã^ X：< 8D>紫外^ K^H5^F^F^B < 8a>^B {「severity」：「notice」，「message」：「Test message」，「facility」：「kern」，「syslog-tag」：「

0熱度

2回答

無法在斯卡拉

我無法並行Scala中的一個列表，讓顯示java.lang.NullPointerException並行列表 messages.foreachRDD(rdd => { for(avroLine <- rdd){ val record = Injection.injection.invert(avroLine.getBytes).get val field1Val

1熱度

1回答

可以幫助我與U-SQL自定義輸出生成.Avro文件

我正在尋找生成.Avro文件的U-SQL自定義輸出。你能幫我提供任何建議或樣本嗎？

1熱度

1回答

Avro 1.8.2 BigDecimal（邏輯類型）的Java代碼生成

如何在我的Apple類中生成BigDecimal？現在我只有一個ByteBuffer .... 使用的Avro架構（AVSC）： {"namespace": "com.example", "type": "record", "name": "Apple", "fields": [ {"name": "price", "type": {