2017-10-04 275 views
1

很奇怪,我無法在網上輕鬆找到這些信息,但我無法。所以,我的問題是我有一個卡夫卡話題。我希望兩個彼此獨立的消費者組消費這個主題的消息。所以,我想要的是兩個消費者羣體都能夠看到並消費彼此獨立的所有消息。爲了更加清楚,我不想讓一個消費者組消費一些消息,並且一些消息被另一個消費組消費;不,我希望2個組消耗消息,就好像另一個組不存在一樣。Kafka:多個獨立消費者羣體可以消費一個主題嗎?

回答

1

是的,多個消費者/消費者組可以獨立使用來自主題的消息。每個消費者(或消費者羣體)的抵消額分開保存。您可以運行kafka.tools.ConsumerOffsetChecker可以查看任何主題的任何消費羣的偏移量如下圖所示:

bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic test --zookeeper localhost:2181 --group testgroup 

注意(這抵消),其中消費者開始讀取從主題的消息被自動控制.offset.reset配置。如果設置爲最小,則新消費者將從主題的開頭(最小)開始或從主題的末尾開始(如果這被設置爲最大)。

2

是的,單獨的消費羣體是完全獨立的,所以他們都看到所有消息。

資源分區(主題/分區)只發生在組內。

+0

我不確定我是否理解「資源分區(主題/分區)只在組內發生」。每個主題的分區和複製不能改變每個消費者組;這是您創建主題本身時決定的。 – user1888243

+0

我的意思是將分區分配給消費者,因爲在一個組中只能將一個消費者分配給一個分區。 –

相關問題