kafka-consumer-api

0熱度

1回答

我累的鏈接 https://cwiki.apache.org/confluence/display/KAFKA/0.8.0+SimpleConsumer+Example 使用SimpleConsumer消耗的消息之後，但在使用它，我發現了一些突然的行爲如下：消費者正在使用特定分區的消息。但問題是，當我的消費者正在運行並使用生產者將消息推送到主題時，它會使用該分區的消息。但是，如果我的消費者目前沒

2熱度

2回答

Kafka - 具有特定抵消的消費羣體創建？

在Kafka中創建主題後，只需嘗試使用這些組從主題中讀取，就可以創建任意數量的使用者組。我想創建一個額外的消費者羣體來監控真實消費羣體的消息內容 - 一個用於查看消息的消息羣組。因此，圖形用戶界面允許您在任何用戶組上單擊「peek」，並且「peeker」組將其偏移更新爲被監視組的偏移量，然後它會顯示來自該偏移量的消息。雖然我很困惑，因爲你不能第一次明確地創建一個用戶組;你似乎必須閱讀一條消息才

3熱度

1回答

Kafka生產者/廣域網上的消費者？

我有一個卡夫卡集羣數據中心。一些可以通過WAN（甚至是互聯網）進行通信的客戶端將向集羣發送/接收實時消息。我從Kafka's Documentation閱讀： ...這是可能的讀取或寫入遠程集羣卡夫卡在廣域網上，雖然TCP調整將是必要的高延遲鏈路。它通常是不可取的運行跨多個數據中心爲這將產生很高的複製延遲無論是卡夫卡寫和寫動物園管理員既不卡夫卡也不動物園管理員將保持可用，如果網絡分區的單一卡夫

1熱度

1回答

Storm Kafka Spout未在本地集羣中提交偏移量，spout會重複檢索相同的消息

我已經設置了從kafka服務器獲取輸入數據的風暴拓撲。我用卡夫卡風暴包來獲取數據。我在本地集羣中成功實現了kafka服務器和風暴拓撲之間的連接，但是我在從kafka服務器檢索數據時遇到了一些問題。卡夫卡脫粒機反覆檢索相同的消息在運行時，即使我設置spoutconfig.forceFromStart=false和spoutconfig.startOffsetTime =-1 注：當我停止並重新啓動