apache-kafka

0熱度

1回答

REST Microservice如何與另一個混合的Microservice進行通信，這意味着他可以與REST和Message Queue進行通信。例如一個API網關。對於外部世界，他可以通過REST與應用程序，手機進行通信，但是來自後端的通信是通過消息隊列進行的。使用案例：我的主頁想要從數據庫中獲得車輛。他通過GET-Request請求API網關。 API網關接受GET請求並將其發佈到消息隊

0熱度

1回答

Apache Kafka：生產者-Consume API沒有在GCP上運行

我一直試圖在Kafka集羣上運行我的生產者和消費者api，但它不工作。 1）動物園管理員是在一個GCP VM實例運行 2）卡夫卡正在另一個GCP VM實例運行步驟如下：步驟1）使用運行動物園管理員以下命令： bin/zookeeper-server-start.sh config/zookeeper.properties 個Zookeeper.properties： #the direct

0熱度

1回答

設置不同的線程用於內卡夫卡不同操作行旅

我已經定義以下在卡夫卡拓撲流 Operation 1 : input_stream ----> filter ----> window_processing ----> write_to_topic Operation 2 : input_stream ----> write_to_topic 我觀察到，這兩個操作正在由同一線程（即使我增加線程StreamsConfig.NUM_STREAM

0熱度

1回答

「爲」卡夫卡KStreams循環支持

我需要知道如何使用「爲」我的卡夫卡KStreams線環......下面是我的「for」循環需要被列入KStreams for (int i = 0; i < 6 ; i++) { try { textlines.flatMapValues(value -> Arrays.asList(value.split("\\},\\{"))); Thread.s

0熱度

3回答

Apache Kafka + Apache Camel集成+ POC問題java.util.Hashtable.put上的java.lang.NullPointerException（Hashtable.java:459）

這是我的路由生成器。在這裏，我試圖從我的文件插入數據topic.Later，我通過我的主要方法，並使用駱駝上下文我運行它。我嘗試了幾個代碼，但沒有人幫助我。我正在開發Apache kafka的POC - 駱駝。 public class SimpleRouteBuilder extends RouteBuilder { @Override public void config

0熱度

1回答

Spark Streaming檢查點失敗後讀取

我試圖實現包含容錯的Kafka應用程序的Spark Streaming。當我重新啓動應用程序時，它會讀取重新啓動前已讀取的消息，並且我的計算出錯了。請幫我解決這個問題。這是用Java編寫的代碼。 public static JavaStreamingContext createContextFunc() { SummaryOfTransactionsWithCheckpoints a

0熱度

2回答

卡夫卡延遲消息消耗

如何使用Apache Kafka產生/消費延遲消息？看起來像標準的Kafka（和Java kafka-client）功能沒有這個功能。我知道我可以用標準的等待/通知機制自己實現它，但它看起來不太可靠，所以我們讚賞任何建議和良好做法。找到related question，但它沒有幫助。正如我所看到的：Kafka基於文件系統的連續讀取，並且只能用於直接讀取保留消息排序的主題。我對嗎？

0熱度

1回答

連接到安裝在HDInsight上的Kafka（Azure）

我需要從外部Java應用程序連接到作爲Azure上HDinsight一部分啓動的Kafka集羣。我有3個經紀人實例，3個ZooKeeper和一個ZooKeeper客戶端。現在我的問題：如何指定代理連接字符串。在管理面板上，我可以看到3個經紀人：xxx-1.yyy.zzz.internal.cloudapp.net,xxx-2.yyy.zzz.internal.cloudapp.net - 但這些

0熱度

1回答

春雲流Kafka粘結劑：「嘗試從狀態IN_TRANSACTION到狀態IN_TRANSACTION的無效轉換」

我正在嘗試使用Spring雲流+ Kafka綁定對Apache Kafka進行「恰好一個交付」概念的一些PoC。我安裝了Apache Kafka「kafka_2.11-1.0.0」，並在生產者中定義了「transactionIdPrefix」，我知道這是我在Spring Kafka中啓用事務所需要做的唯一事情，但是當我這樣做時，運行簡單源代碼&在同一個應用程序中接收器綁定，我看到一些消息在消費者

0熱度

1回答

Kafka Streams：使用相同的`application.id`來消費多個主題

我有一個應用程序需要監聽多個不同的主題;每個主題都有獨立的消息處理邏輯。我曾經想過爲每個KafkaStreams實例使用相同的kafka屬性，但是我得到如下所示的錯誤。錯誤 java.lang.IllegalArgumentException: Assigned partition my-topic-1 for non-subscribed topic regex pattern; subscr