我是Kafka的新手。我注意到在消費者配置中有兩個ID。一個是group.id(強制性),第二個是consumer.id(非強制性)。請說出爲什麼2個Ids和差異。卡夫卡消費者中的groupid和consumerrid之間的區別
回答
消費者組是卡夫卡抽象,支持點對點和發佈/訂閱消息。消費者可以通過將其group.id
設置爲group_1
加入消費羣體(讓我們說group_1
)。消費者羣體也是一種支持數據並行消費的方式,即同一消費羣體的不同消費者從不同分區並行消費數據。
除了group.id,每個消費者還使用consumer.id
向卡夫卡經紀人標識自己。 Kafka使用這種方法來識別特定消費羣體的當前ACTIVE消費者。
閱讀this documentation瞭解更多詳情。
請給更多的例子來理解。同一消費羣體的**不同消費者從不同分區並行消費數據。**。如何在同一消費羣體中添加不同的消費者?我用group.id = group1運行Java Consumer程序。它消費了消息。我運行相同的程序,而不改變goup.id。第一個程序使用消息。第二個消費者不能消費信息。團隊在這裏意味着什麼? – Gnana
如果您還沒有對主題進行分區,那麼只有一位消費者會使用消息。如果您希望兩個消費者(屬於同一消費羣體)並行使用消息,則需要劃分主題。我建議你閱讀文檔 –
感謝您的其他信息。我在一個經紀人中創建了一個帶有3個分區的Topic演示。我用demo-group運行程序,它消耗了信息。我再次運行具有相同組ID的程序。但是,第二個程序不能使用消息。如果將組標識名稱更改爲demo-group1。它運作良好。請告訴我消費者羣體的概念。 – Gnana
- 1. 卡夫卡gruop消費者
- 2. 卡夫卡消費者不消費
- 3. Spark Streaming中的卡夫卡消費者
- 4. 雲中的卡夫卡消費者
- 5. 消費和生產特別是卡夫卡分區的消息?
- 6. 匹配卡夫卡消費者和生產者分區
- 7. 卡夫卡消費者/生產者API
- 8. 卡夫卡消費羣體和分區
- 9. 如何從生產者消費卡夫卡的消費者?
- 10. 卡夫卡消費者和分區查詢
- 11. 卡夫卡 - 主題&分區和消費者
- 12. 阿帕奇卡夫卡之後的分區和消費者位置
- 13. 消費消費使用卡夫卡消費者 - Java
- 14. 卡夫卡10.2新消費者與舊消費者
- 15. 復位消費者在卡夫卡0.10
- 16. 無法創建卡夫卡消費者
- 17. 卡夫卡消費者同步行爲
- 18. 問題在消費者卡夫卡
- 19. 暫停高級卡夫卡消費者
- 20. 卡夫卡消費者不是從
- 21. 卡夫卡消費者行爲
- 22. 關閉卡夫卡消費者
- 23. 卡夫卡消費者行爲
- 24. 春季集成卡夫卡消費者
- 25. 如何暫停卡夫卡消費者?
- 26. 卡夫卡消費者 - Java客戶端
- 27. 卡夫卡消費者與JAVA
- 28. 卡夫卡0.90消費者堅持
- 29. 卡夫卡kafka.common.MessageSizeTooLargeException在消費者
- 30. 卡夫卡消費者滯後JMX
根據消費者羣體,我們可以確定消費者的消息傳遞模型: ** 如果所有消費者實例具有相同的消費者羣組,那麼這就像傳統的消費者隊列平衡負載一樣工作。 如果所有消費者實例具有不同的消費者羣體,那麼這就像發佈 - 訂閱一樣,並且所有消息都被廣播給所有消費者。按照上述說法,充當發佈 - 訂閱的所有消費羣體應該是唯一的名稱。那麼爲什麼不能成爲消費者ID。爲什麼消費者組ID?團體意味着什麼 – Gnana