我們如何在Apache Kafka中實現這一點

Question

我們希望通過Apacke Kafka發送事務數據，因爲我們有兩個下游系統，並且在UI中顯示成功消息之前，我們希望確保數據成功保存在下游系統。

我們正在通過生產者推動數據並在消費者端閱讀它，並能夠將其保存在下游系統中。缺少的鏈接是如何知道數據是否在下游系統中成功保存，以便我們可以在用戶界面上顯示成功消息。

有沒有一種方法可以通過卡夫卡實現。我們剛開始使用kafka，並不確定這個用例是否適合kafka。

Answer 1

如果您的生產者知道消費者，它可以觀察承諾的消費者偏移以查看哪些記錄被消耗。製作者可以將這些偏移映射到它自己編寫的消息。

有關進一步的細節如何做到這一點（超出單個問題的範圍），只需挖掘Kafka代碼（它是開源的）。作爲一個起點，看看bin/kafka-consumer-groups.sh這是一個監測消費者偏移的工具。