2017-04-25 82 views
0

以下是我們正在使用的版本。Kafka - Flume - Oracle數據庫 - 讀取字段'throttle_time_ms'時出錯

卡夫卡 - 2.10-0.8.2.2 水槽 - 1.7.0 飼養員 - 3.4.6

當我們試圖逐步從Oracle數據庫下載數據,我不斷收到以下錯誤

(kafka-producer-network-thread | producer-1) [ERROR - 
org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:130)] 
Uncaught error in kafka producer I/O thread: 
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException 
    at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71) 
    at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:439) 
    at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:265) 
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:216) 
    at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:128) 
    at java.lang.Thread.run(Thread.java:745) 

以下是我的水槽配置

agent.channels.ch1.capacity = 100000 
agent.channels.ch1.transactionCapacity=10000 
agent.sources.sql-source.incremental.column.name = customer_id 
agent.sources.sql-source.incremental.value = 1000 
agent.sinks.kafkaSink.kafka.topic=customer_topic 
agent.sinks.kafkaSink.channel=ch1 
agent.sinks.kafkaSink.flumeBatchSize=1000 
agent.sinks.kafkaSink.kafka.producer.acks=1 

當這個論壇的該錯誤信息搜索,許多人referr有些版本不匹配。我不確定哪個服務器版本是。我們不能輕易更改版本。有沒有什麼東西(一種解決方法)可用於增加攝入卡夫卡主題作品。

問候

巴拉

回答

0

水槽1.7.0用戶指南:「這是一個水槽的水槽實現,可將數據發佈到卡夫卡的話題之一的目標是與水槽卡夫卡整合,使拉基於網絡的處理系統可以處理來自各種Flume源的數據,目前支持Kafka 0.9.x系列發佈版本

此版本的Flume不再支持Kafka的舊版本(0.8.x)。

相關問題