高級消費者API似乎一次只讀一條消息。卡夫卡是否有批量消費者?
如果消費者想要處理消息並將這些消息提交給其他下游消費者,如Solr或Elastic-Search,則這可能會造成很大問題,因爲他們傾向於批量消息而不是一次一個。
將這些消息批量存儲在內存中也不是微不足道的,因爲只有當批處理已經被提交時,Kafka中的偏移量才需要同步,否則將崩潰的kafka-使用者提供未提交的下游消息(如在Solr或ES中)將有其補償已更新,因此消息鬆散。
如果消費者在向下遊提交消息之後但在更新消息偏移之前崩潰,消費者可能會多次消費消息。
如果Kafka批量使用消息,那麼一些指向代碼/文檔的指針將非常感謝。
謝謝!
什麼版本的卡夫卡是你問?我假設你是在談論高級消費者,它是0.8.2或之前。 – morganw09dev