kafka-consumer-api

0熱度

2回答

這是earlier discussion的後續問題。我認爲Zookeeper是卡夫卡經紀人或「消息總線」的協調員。我明白爲什麼我們可能希望生產者/消費者客戶端通過Zookeeper進行交易 - 因爲Zookeeper具有內置的容錯功能，以便與哪些Kafka代理進行交易。但是對於新模式 - 即0.10.1+，我們應該總是在生產者/消費者客戶中完全繞過Zookeeper？我們是否通過這樣做放棄了任何優

0熱度

2回答

如何爲通用數據寫入KafkaAvro Serde.Record

我使用Kafka 0.10.2和Avro對我的消息進行了序列化，包括密鑰和數值數據。現在我想使用Kafka Streams，但我試圖爲GenericData.Record類編寫Serde類。 import org.apache.avro.generic.GenericData.Record; import io.confluent.kafka.schemaregistry.client.Sch

2熱度

1回答

阿帕奇卡夫卡：檢查消息的存在，在主題

我有一個情況我需要檢查一個特定的消息是否已經存在一個主題或不在，我需要的主題絕對沒有重複。任何一個可以建議這樣做，而不是消耗所有的消息和檢查，對其中任何優雅的方式。

0熱度

1回答

Kafka重置工具消費者偏移不重置爲零

我想了解一些基本的Kafka概念，以便我可以正確監視基於KafkaStreams的應用程序的進度。專門用於調試目的，我需要能夠讓我的應用程序重新使用整個主題。爲此我使用了reset tool。在執行腳本查看一些輸入主題的卡夫卡管理器後，我看到Consumer Offset已經減少，而Lag已經增加（這是有道理的）。雖然Consumer Offset不會爲零。我試圖解釋這一點，但我還沒有找到關於

2熱度

1回答

Kafka：民意調查中的反序列化問題

自從有些日子以來，我一直在玩合唱版本的kafka，以便更好地理解平臺。我收到了一些發送到一個主題的格式錯誤的avro消息的序列化例外。讓我用事實說明問題： <kafka.new.version>0.10.2.0-cp1</kafka.new.version> <confluent.version>3.2.0</confluent.version> <avro.version>1.7.7</av

0熱度

1回答

kafka-0.9 cann't consumer data

我使用0.9版本的卡夫卡來消費數據，但程序總是運行到consumer.poll（100）的行，然後它不會繼續運行。我使用了kafka-clients-0.9.0.0的jar。卡夫卡：kafka_2.10-0.9.0.0 飼養員：飼養員-3.4.5 public static void main(String[] args) { Properties props = new Proper

4熱度

1回答

Kafka10.1 heartbeat.interval.ms，session.timeout.ms和max.poll.interval.ms

我正在使用kafka 0.10.1.1，並與以下3個屬性混淆。 heartbeat.interval.ms session.timeout.ms max.poll.interval.ms heartbeat.interval.ms - 這在0.10.1添加，它會輪詢之間發送心跳。 session.timeout.ms - 這是開始重新平衡，如果沒有對kafka的請求，它會在每次輪詢時重置。

0熱度

1回答

如何將Dstream數據（json）存儲到cassandra？

val topics= "test" val zkQuorum="localhost:2181" val group="test-consumer-group" val sparkConf = new org.apache.spark.SparkConf() .setAppName("XXXXX") .setMaster("loca

0熱度

1回答

卡夫卡分區和消費者羣至少一次消息傳遞

我正在嘗試使用卡夫卡設計一些處理代理來並行處理來自卡夫卡主題的消息。我希望確保在整個消費羣體的每個消息處理過程中接近完全一次，儘管至少可以容忍一次。我找到的文檔在許多方面還不清楚，並且有我必須知道這是否是一個可行的辦法了幾個具體的問題：如果消息被髮布到一個話題，它出現一次只能在主題中的所有分區上進行復制，或者複製到可能多於一個分區上？我已閱讀可能支持兩種可能性的陳述。是每個分區或每個消費者

0熱度

2回答

卡夫卡 - 主題＆分區和消費者

只是想正確理解基礎知識。假設我有一個名爲「myTopic」的主題，它有3個分區P0，P1 & P2。這些分區中的每一個都有一個引導器，並且這個主題的數據（消息）分佈在這些分區中。 1.生產者將總是基於代理的負載以循環方式向分區的領導寫入數據。是對的嗎？ 2.生產者如何知道分區的領導者？ 3.閱讀特定主題的消費者應閱讀該主題的所有分區？那是對的嗎？感謝您的幫助。