需要卡夫卡消費者批量獲取數據

Question

我已經搜索了卡夫卡批量消費者，我沒有找到任何有價值的信息。

使用案例：

生產者會產生數據很頻繁，並在消費網站，我們將消耗數據，並從消費者&我們將張貼數據到Facebook和谷歌，其具有可以發佈數據的限制。

讓我知道是否有可能暫停使用者在特定時間內使用數據，直至其他API消費來自消費者的數據。

注意：這可以通過風暴輕鬆實現，但我不尋找這種解決方案。我們也可以配置kafka的字節大小，但這不會達到目的。

Answer 1

有幾個方法，你可以這樣做：

選項＃1：應用處理所有數據消費和手離開消息由工作線程池的消耗阻塞隊列，一個消費者線程。在劑量方面，您可以輕鬆擴展工作流程和消費者。但是在這種情況下，偏移提交管理將會有點困難。選項＃2：只需調用KafkaConsumer.pause（）和KafkaConsumer.resume（）方法來暫停和恢復從特定分區獲取來實現自己的邏輯。