apache-kafka

2熱度

2回答

我想了解如何動態地向外擴展應用程序，它消耗的話題（可惜我不能減少其數量 - 通過設計每個主題是特定類型的數據）的數量龐大。我想我的應用集羣從所有的200個多種主題分擔負載。例如，當一個新的應用程序節點添加到集羣中時，它應該從舊節點「偷走」一些主題訂閱，這樣負載將再次均勻分佈。據我瞭解，卡夫卡partinions /消費羣體幫助並行的話題，不共享多個主題之間的負載。

0熱度

1回答

在春季啓動器

沒有出口商卡夫卡那裏看到 here

2熱度

1回答

AVRO模式的JSON看起來有效，但從Kafka Schema註冊表返回無效

我正在嘗試將AVRO模式註冊到模式註冊表。該模式包含一個記錄和一些字段。我將架構作爲JSON發佈到Schema Registry REST API，雖然JSON看起來很好，但服務器返回curl : {"error_code":42201,"message":"Input schema is an invalid Avro schema"}。有人可以看一下嗎？ Powershell用於生成JSON

0熱度

2回答

Python中具有相同組ID的多個消費者

有人知道如何在Python中使用相同的組ID來運行多個消費者嗎？我試過以下 a = Consumer({'bootstrap.servers': 'localhost:9092', 'group.id': 'dd1', 'default.topic.config': {'auto.offset.reset': 'smallest'}}) b = Consumer({'boots

1熱度

1回答

創建`KafkaServer`從Java

我試圖啓動一個卡夫卡服務器形式的Java 具體來說，我怎麼能翻譯斯卡拉的this line入行渣華的？ private val server = new KafkaServer(serverConfig, kafkaMetricsReporters = reporters) 我可以輕鬆地創建serverConfig中，但我似乎無法能夠創建kafkaMetricsReporters參數。注：我

2熱度

2回答

卡夫卡流如何處理包含不完整數據的分區？

Kafka Streams引擎將一個分區映射到一個工作人員（即Java App），以便該分區中的所有消息都由該工作人員處理。我有以下情況，並試圖瞭解它是否仍然可行。我有一個主題A（有3個分區）。發送給它的消息由Kafka隨機分區（即沒有密鑰）。我發送給它的消息有像下面 {carModel: "Honda", color: "Red", timeStampEpoch: 14334343342}

0熱度

1回答

Spark Streaming Kafka初始偏移量

我正在使用Java Spark API，對於KafkaUtils.createDirectStream，我想跟蹤偏移量。有一個名爲fromOffset的參數，它記錄了Kafka主題分區中的偏移量。對於第一次運行，我不知道將有多少個分區，那麼如何設置此參數？並且我是否需要在Kafka參數中設置「auto.offset.reset」？如果是，它會影響我的代碼從已知的偏移中恢復嗎？

0熱度

1回答

如何在構建Akka Streams Kafka中的ProducerMessage時配置偏移參數？

我正在使用Scala 2.11和Akka Streams Kafka 0.17。我有一個流其中：甲Source使用Source.actorRef創建。在這裏，演員計劃以固定間隔運行並持續生成消息，並將消息發送到流中。我已附加Producer作爲Flow。製片人推動ProducerMessage.Message成爲卡夫卡話題。一些數據庫操作。我有一個問題，同時構建ProducerMessa

0熱度

2回答

開始動物園管理員和卡夫卡服務器上的文件被意外

我'初學者卡夫卡 1 /我下載卡夫卡的1.0.0版本 2 /我在bith server.properties更改的數據目錄位置和屬性zookeeper.properties \設置\ server.properties \ CONFIG \ zookeeper.properties 3 /當我嘗試啓動動物園管理員和卡夫卡服務器我有一個錯誤「Files was unexpected」 D：\ ka

0熱度

1回答

如何在Windows上製作專門的Kafka消息？

在沒有設置任何編程環境的情況下，是否有一種簡單的方法來生成一些特殊的Kafka消息？