卡夫卡 - 最大郵件大小設置

這是我的架構：卡夫卡 - 最大郵件大小設置

Kafka DC -> MirrorMaker -> Kafka Aggregate 
Kafka DC max.message.bytes -1 M 
Mirrormaker -> max.request.size -> 2M and Batch.size -> 1M 
Kafka Aggregate -> max.message.bytes -> 2M

我仍然看到消息大小大例外在卡夫卡AGG的一面。

來源

2016-11-14 Srinivas Dhruvakumar

你的意思是RecordTooLargeException？你能粘貼整個堆棧恍惚嗎？ – amethystic

kafka.common.MessageSizeTooLargeException：在Agg側。當然會發佈堆棧跟蹤 –

如果MessageSizeTooLargeException而不是RecordTooLargeException被拋出，這意味着您正在使用舊的使用者。嘗試增加'fetch.message.max.bytes'，使其至少與最大消息大小一樣大。

EDIT：基於堆棧跟蹤，產生的消息時，會發生問題，因此檢查代理配置「message.max.bytes」，以確保它不超過最大消息大小以下。默認值是1000012字節，小於1MB。

來源

2016-11-15 06:39:56 amethystic

謝謝但我看到目標代理日誌上的錯誤..這是我得到的異常 KafkaServer.log.3-2016-10-24 12：52：48,322 [kafka-request-handler -18] INFO（kafka.server.KafkaApis） - [KafkaApi-2]在產生請求期間由於錯誤而關閉連接，其中來自客戶端ID生產者-1的關聯ID 410709612與ack = 0 KafkaServer.log.3：主題和分區例外：[topic1,6] - > kafka.common.MessageSizeTooLargeException –

我不知道你的評論在這裏表達了什麼。你增加了'fetch.message.max.bytes'嗎？ – amethystic

我說的是目標Kafka Broker配置中沒有配置參數fetch.message.max.bytes。卡夫卡經紀人報告此消息時，我一直有問題，而不是鏡子製造商。 –

卡夫卡 - 最大郵件大小設置

回答

相關問題