apache-kafka

    0熱度

    2回答

    幾天後,我試着將主題動態地傳遞給Kafka監聽器,而不是通過Java DSL中的密鑰來使用它們。以前的任何人都可以做到這一點,或者可以指出實現這一目標的最佳方式是什麼?

    0熱度

    2回答

    我正在對Kafka消費者實現進行集成測試。 我使用wurstmeister/kafka docker鏡像和Apache Kafka客戶端。 當我向某個主題發送「意外」消息時,嗡嗡的場景就是這樣。在RUN模式下,kafkaConsumer.poll(POLLING_TIMEOUT)似乎進入無限循環。當我調試時,它會在我暫停和運行時起作用。 發送預期的消息(不要在反序列化時拋出異常)時沒有此問題。 這

    0熱度

    2回答

    我打算跳過本主題的開頭,並且只從特定時間戳讀取消息到結束。有關如何實現這一目標的任何提示?

    0熱度

    1回答

    我正在使用Avro餵養Kafka系統,我想知道爲什麼Avro已經創建好了,對於哪種情況我們應該選擇Avro給Json。 Json更適合互聯網溝通,比如RESTful請求,Avro更適合Hadoop生態系統嗎? 我搜索了一些答案,他們比較了壓縮的數據大小和效率,但我不確定這足以創建新的東西。

    0熱度

    1回答

    我打算部署Kafka集羣。我有以下查詢: 1)爲了確保與卡夫卡經紀人的生產者和消費者溝通,可以使用SSL。如果我有9個經紀人和3個動物園管理員節點的集羣,並且如果我不想使用自簽名證書,是否必須爲每個節點購買證書(9 + 3證書,方式太昂貴)? 正如我所讀到的,生產者/消費者直接聯繫其中一個代理節點,而不需要聯繫zookeeper。 感謝, 病毒

    0熱度

    1回答

    當我開始德魯伊時,當我打開德魯伊的控制檯使用http://localhost:8090/console.html我可以看到所有我的監督連接與卡夫卡主題列表。後來,當我對任何主管的狀態單擊我獲得以下JSON響應 { 「ID」: 「測試kafka7」, 「generationTime」: 「2017-09-25T12:53:44.003Z」,」有效載荷 「:{」 數據源 「:」 測試kafka7" ,

    0熱度

    1回答

    我花了一些時間發現連接到Kafka 0.11羣集的Go應用程序正在使用庫的舊版本0.8.2,它在響應中缺少Timestamp值。 然後我發現Kafka 0.11.x API /版本不被支持(但他們正在處理它)。 我現在有兩種解決方案。 首先是在我的應用程序中明確設置所需版本。 其次是「調整」Sarama代碼以使用版本0.10.x作爲最低版本,使我可以使用所有的0.10.x API /功能。 我還在

    0熱度

    1回答

    我們使用spring kafka配置接收來自上游系統的消息。 我們的Java配置主題配置 @Bean(id="firstcontainer") protected ConcurrentMessageListenerContainer createContainerInstance(...) { //topics addition } @Bean(id="secondcontainer"

    1熱度

    1回答

    我已經使用Spring卡夫卡創造了卡夫卡消費者和Cloud Foundry中部署它。該主題有10個分區。我正計劃將應用擴展到10個實例,以便每個實例都可以使用來自一個分區的消息。 Spring Kafka支持併發消息監聽器容器,我猜支持創建多個線程從每個分區消耗。因此,舉例來說,如果我有5個消費者實例,每個消費者實例可能有2個線程從分區中消耗。由於我無論如何計劃爲每個分區創建1個應用程序實例,因此

    1熱度

    1回答

    考慮以下情形。我有減震卡夫卡經紀人和很多客戶,誰給我user1.rar文件,分爲文件user1.r01,user1.r02 ...(128KB每個)的。如預期的那樣,消費成一個主題的效果很好。問題是我需要解壓縮拓撲下游的文件,並將解壓後的結果傳輸到最終存儲。 糟糕的是,我沒有操作存儲設備來存儲所有RARS爲一個用戶。在kafka中有沒有什麼方法可以簡化一個主題中的文件,所以我可以做流解包。 我很擔