如何設計卡夫卡連接即水槽以及來源

Question

我正在開發一個卡夫卡連接器，訂閱一個主題，轉換的消息，推動轉化的消息回到另一個話題。

到目前爲止，我將它作爲SinkTask類實現，每個任務執行ETL，實例化發佈程序對象，將消息寫回另一個主題。

有沒有實現它一個更清潔的方式？我相信這是一個常見的用例，連接器是一個接收器以及源代碼。

Answer 1

這不是基本的用例卡夫卡連接。如果您已經使用Kafka 0.10.x，則新的Kafka Streams API就是爲這類事情創建的。