複雜數據\消息的kafka消息格式

Question

我們在我們的系統中使用kafka進行流處理。輸入數據\消息的結構非常複雜。所以如何定義輸入消息的結構。這是輸入數據\消息的最合適的結構和序列化機制。

Answer 1

您可以使用下面的序列化器來序列化您的輸入消息。

1. Apache commons lang3 serializer - 最簡單的實現
2. Kryo Serialization - 快速，高效的串行
3. Avro Serialization - 支持架構演變隨着時間的推移註冊表

我會建議你實現KRYO serailizer。