kafka-consumer-api

1熱度

1回答

當使用來自kafka的消息時，通常使用組id。但是，SimpleConsumer只使用clientName。clientName是組ID？

當使用來自kafka的消息時，通常使用組id。但是，SimpleConsumer API只是使用clientName。clientName是組ID？

10熱度

1回答

在高級消費者塊上做commitOffset嗎？

在Java客戶端（http://kafka.apache.org/documentation.html#highlevelconsumerapi）中，在高級消費者塊上執行commitOffsets直到成功提交了偏移量，還是遺忘了？

3熱度

1回答

如何在Kafka中同時實現分佈式處理和高可用性？

我有一個由n個分區組成的主題。爲了進行分佈式處理，我創建了兩個在不同機器上運行的進程他們使用相同的組ID分配主題，並分配n/2個線程，每個線程處理單個流（每個進程n/2個分區）。這樣我就可以實現負載分配，但是現在如果進程1崩潰，則進程2無法使用分配給進程1的分區中的消息，因爲它僅在開始時在n/2個流上進行監聽。否則，如果我配置HA並在兩個進程上啓動n個線程/流，那麼當一個節點發生故障時，所有分

0熱度

1回答

卡夫卡，因爲它需要大量的時間消耗只有新郵件

我的火花流的工作是從卡夫卡 KafkaUtils.createStream(jssc, prop.getProperty(Config.ZOOKEEPER_QUORUM), prop.getProperty(Config.KAFKA_CONSUMER_GROUP), topicMap); 消耗數據，每當我重新啓動我的工作就開始消耗從去年偏移店（我假定這發送處理過的數據，如果

0熱度

1回答

無法使用strom集羣從kafka讀取

我正在運行Strom集羣，其中2個主管和1個nimbus正在運行。我在哪裏閱讀主題爲「topic1」的kafka。但在UI上，我得到的錯誤如下 java.lang.RuntimeException：java.lang.RuntimeException：org.apache.zookeeper.KeeperException $ NoNodeException：KeeperErrorCode = N

4熱度

3回答

kafka同步：「java.io.IOException：打開的文件太多」

我們遇到了kafka問題。有時突然，沒有任何警告我們會退出同步，並在發出事件時開始獲取異常。，我們所得到的例外是：「java.io.IOException異常：打開的文件太多」看來這是卡夫卡在許多情況下拋出一般異常。我們研究這一點，我們認爲根本原因是試圖發出事件的一些話題時，它失敗，因爲卡夫卡這麼想的對這個話題有人可以幫助領導分區？

0熱度

1回答

Apache Kafka中的分區數是否有上限？

我已經讀過它的10000.但我想知道的是，這個限制是在1代理或整個集羣上。我想擁有一個具有事件名稱的主題並捕獲用戶的所有事件流。現在我希望將活動記錄到特定用戶事件所在的奉獻分區上的每個用戶。現在如果用戶數量超過10000，我可以通過添加另一個代理來增加分區數量，或者這種方法根本不可行。響應如果高度讚賞。謝謝

4熱度

1回答

Apache Kafka Consumer有時不會寫入Windows 7中的控制檯：「無法寫入標準輸出，關閉使用者。」

Apache Kafka消費者回報「無法寫入標準輸出，關閉消費者。」在某些情況下在Windows 7中。它適用於Linux和Windows 8中的相同消息以及Windows 7中的其他較短消息。我想知道是否有人已經遇到此問題？它可以取決於消息的大小以及如何解決這個問題？

1熱度

2回答

kafka消費者迭代器如何工作

我發現這個代碼能夠成功讀取kafka主題並在屏幕上打印每條消息。我想擴展它來對字符串執行其他操作，而不是僅僅在屏幕上進行打印。爲此，我想了解在迭代消息的while循環中發生了什麼。它是什麼？hasNext（）做什麼？它會查找下一條消息還是新消息列表？什麼時候它會離開這個while循環？ import kafka.consumer.ConsumerIterator; import kafka.co

6熱度

2回答

卡夫卡多個消費者的分區

我有一個生產者寫消息到主題/分區。爲了維護訂購，我想單個分區，我想讓12個消費者閱讀這個單一分區的所有消息（沒有消費者組，所有消息都應該發給所有消費者）。這是可以實現的嗎？我讀過一些論壇，只有一位消費者可以閱讀每個分區。