卡夫卡多個消費者的分區

Question

我有一個生產者寫消息到主題/分區。爲了維護訂購，我想單個分區，我想讓12個消費者閱讀這個單一分區的所有消息（沒有消費者組，所有消息都應該發給所有消費者）。這是可以實現的嗎？我讀過一些論壇，只有一位消費者可以閱讀每個分區。

Answer 1

您可以使用SimpleConsumer來實現您正在詢問的內容 - 沒有消費羣體，所有消費者都可以閱讀單個分區。但是，這種方法意味着您必須自己處理抵消存儲和代理失敗處理。

另一種選擇是使用具有不同消費羣體的高級消費者（您可以爲每個消費者分配一個隨機UUID）。通過這種方式，您可以爲所有消費者消費一個主題/分區，並能夠提交抵消和處理代理中斷。

「只有一個消費者可以消費某個主題/分區」的規則僅適用於消費者組，例如，只有一個IN GROUP消費者可以同時使用一個主題/分區。

Answer 2

如果您在同一個分區上有多個使用者，那麼它會勝過維護排序的初始要求。 雖然，你會訂購存儲，但消費將是無序的。確保你確實沒問題。如果是的話，你可以把每個消費者視爲一個不同的消費羣體。