apache-kafka

2熱度

2回答

我有一個卡夫卡羣集與3個經紀人。我最近開始面臨問題，經紀人離開集羣，產品/消費者拋出領導者沒有可用的錯誤。事件在檢查日誌我看到下面的順序： //很多副本提取程序線程的啓動/停止 [2017-10-09 14:48:50,600] INFO [ReplicaFetcherManager on broker 6] Removed fetcher for partitions [2017-10-0

0熱度

1回答

將KTable數據放入外部數據庫

我有一個場景，我需要將數據放入KTable中，並將該數據從KTable存儲到Oracle 11g數據庫中。什麼是可能的方式來做到這一點？

0熱度

1回答

Kafka/Confluent：ProducerConfig使用Docker鏡像更改默認max.request.size

我正在使用kafka/confluent（3.2.0）來檢索我們所擁有的Mongodb實例的更改。源進程由Debezium source connector管理，他使用Source Connect Api，並使用擴展Confluent Connect泊塢窗鏡像的Mesos（DC/OS）部署在我們的系統上。 Kafka本身使用框架版本部署在相同的DC/OS上。由於我們一些消息大於默認大小我已經改

3熱度

1回答

卡夫卡生產TimeoutException異常：到期

我使用卡夫卡與春季啓動1個結果：卡夫卡監製類： @Service public class MyKafkaProducer { @Autowired private KafkaTemplate<String, String> kafkaTemplate; private static Logger LOGGER = LoggerFactory.getLogge

0熱度

1回答

如果我本地沒有sbt，我可以使用yahoo-kafka-manager嗎？

我想vizialize kafka集羣，我發現雅虎kafka經理是這個目標的好工具。我讀 https://github.com/yahoo/kafka-manager ，並寫到這裏，我應該使用sbt之前我沒有使用它，我不知道，我需要在我的電腦上安裝額外的採購訂單。我可以下載jar文件或類似的東西嗎？

2熱度

2回答

關聯卡夫卡和動態主題

我正在建立一個使用卡夫卡的相關係統。假設有一個服務A執行數據處理，並有數千個客戶端B提交作業。乙 s爲短暫的，他們出現在網絡上，數據推到一個，然後兩個重要的事情發生了：乙將立即從一個接收狀態; 乙然後要麼輟學完全，還在網上對地位得到進一步更新，還是會偶爾彈回上以檢查其狀態。（這與網格計算或mpi沒有不同）。乙具有一個唯一的ID（UUID在我的情況），這將它發送到在標頭，這反過來，使用它

0熱度

1回答

Apache kafka - 消費者延遲選項

我想在短時間內爲特定主題啓動kafka消費者。具體而言，我希望消費者在產生消息的特定時間延遲之後開始消費來自主題的消息。誰能說有沒有任何財產或卡夫卡選項來啓用它。提前致謝。

0熱度

1回答

KeyError：kafka.producer.record_accumulator.RecordBatch

使用kafka-python api向主題發送一串消息。消息的一部分獲得成功發送到主題，但該方案與以下錯誤消息終止之前不是所有的人都送： KeyError: <kafka.producer.record_accumulator.RecordBatch object at 0x143d290> Batch is already closed -- ignoring batch.done() Er

0熱度

2回答

如何通知消費者在Kafka中已創建新主題？

我想讓我的消費者動態更新其消費。讓我給你一個更具體的例子，使用動物。想象一下，我有一家寵物商店，每個話題都是一種動物（如狗，貓，魚）。我的卡夫卡消費者的主要責任是抓住我們在卡夫卡的任何日誌/記錄/消息並將它們存儲到數據庫中。假設我的消費者正在主動消費dogs和cats主題並且一切正常，現在有一種新型動物進入商店並在卡夫卡羣集中生成新主題。我如何通知我的消費者已添加新主題？我有兩個建議，我想看

0熱度

1回答

Kafka Streams - 刪除/清除狀態存儲

我有一個自定義Transformer實施在我的kafka流DSL的結尾，並持續更新日誌KeyValueStore綁定到它。自從幾周以來，我一直在商店中放置太多數據。現在，無論何時加載應用程序，它都會消耗太多內存。但是，應用程序本身只是一個原型，所以我不介意完全清理商店。我可以重命名kafka.application.id和state-store-name，但這是一個臨時解決方法（並且相應的數