apache-kafka

    0熱度

    2回答

    卡夫卡從主題中讀取有限列表

    從卡夫卡主題中讀取有限相關記錄列表的最佳方式是什麼？例如，包含幾百條記錄的db查詢結果。我怎麼會知道「結束」？標題中有簡單的標誌？
    apache-kafka 2017-10-15

    0熱度

    2回答

    Confluent模式註冊管理機構偏移管理

    我們使用Confluent模式註冊機構作爲Avro模式回購。我所觀察到的是Zookeeper中沒有消費者偏移量管理。是否因爲Schema Registry的設計方式 - 不是在Zookeeper中存儲偏移量，而是在Kafka中存儲偏移量，還是在Kafka中壓縮日誌/主題的情況下是標準設計模式？
    apache-kafka registry schema apache-zookeeper confluent 2017-10-15

    0熱度

    1回答

    使用ConsumeKafka處理器創建更大的NiFi流文件

    我創建了一個簡單的NiFi管道，它從Kafka主題（使用ConsumeKafka）中讀取數據流並將其寫入HDFS（使用PutHDFS）。目前，我看到很多在HDFS上創建的小文件。一個新文件每秒創建一次，有些只有一個或兩個記錄。 我要更少，更大的文件寫入到HDFS。 我有以下設置在ConsumeKafka： Message Demarcator = <new line> Max Poll Reco
    hadoop apache-kafka apache-nifi 2017-10-16

    1熱度

    1回答

    不能從Python代碼

    產生卡夫卡我有這個模塊運行（所有地方）： 的ZooKeeper 卡夫卡服務器 卡夫卡消費者 Python腳本 在劇本有send()電話： producer = KafkaProducer(bootstrap_servers=['localhost:9092']) producer.send('test', 'entry1') 每15秒左右。卡夫卡服務器上的幾乎每一個send() 調用產生這些
    python apache-kafka apache-zookeeper kafka-producer-api 2017-10-16

    1熱度

    1回答

    卡夫卡作爲阿卡的持久性雜誌

    在寫日記的不同選項來實現事件採購，卡夫卡似乎從「外部」一個非常合理的選擇： 它有一個很大的生態系統 它是有據可查的 它自然地支持流媒體和聽衆 然而，尋找到阿卡持久性，似乎只有通過社會貢獻packag卡夫卡日記支持e，這在過去的2年裏沒有被修改過。卡夫卡不是一個好的選擇，是否有更好的選擇，如果這是最好的選擇，那麼人們是如何使用它的akka​​-persistance？
    apache-kafka akka akka-persistence 2017-10-17

    0熱度

    2回答

    卡夫卡因爲Docker延遲而超時

    我對卡夫卡和是全新的Docker，並且已經交出了修復問題。我們對卡夫卡（Apache）的隊列持續集成測試運行在本地機器上就好了，但詹金斯CI服務器上時，偶爾會失敗，這種錯誤的： %3|1508247800.270|FAIL|art#producer-1| [thrd:localhost:9092/bootstrap]: localhost:9092/bootstrap: Connect to ip
    python docker jenkins apache-kafka 2017-10-17

    2熱度

    2回答

    Maven構建失敗，因爲它不承認加入到構建路徑

    在Eclipse中一個.jar我已經添加了kafka-clients-jms.jar到我的項目的構建路徑。 我沒有得到任何錯誤，在Eclipse中，但是當我運行mvn clean install它失敗，因爲它無法找到KafkaJmsConnectionFactory類，這是的，我已經添加到構建路徑的.jar一部分。 不知道如何解決這個問題。有任何想法嗎？
    java eclipse maven apache-kafka 2017-10-17

    2熱度

    1回答

    Akka Streams Kafka - 消費者的單元測試

    我試圖通過設置Kafka服務器並使用生產者發送消息來在本地測試我的代碼，但我想知道是否有一種方法可以爲此編寫單元測試一段代碼（測試消費者收到的消息是否正確）。 val consumerSettings = ConsumerSettings(system, new ByteArrayDeserializer, new StringDeserializer) .withBootst
    scala unit-testing apache-kafka akka akka-stream 2017-10-17

    0熱度

    1回答

    無法從遠程客戶端連接到數字海洋上的kafka服務器

    我試圖測試從一個環境連接到運行我們的kafka服務器的數字海洋拖放的連接。 我試圖運行./kafka-console-producer.sh --broker-list <HOST_NAME>:9092 --topic <topic> 而且我一直獲得迄今所採取 [2017-10-17 14:38:59,438] WARN Connection to node -1 could not be est
    apache-kafka 2017-10-17

    1熱度

    1回答

    使用python進行火花流式傳輸時出錯？

    使用kafka_2.11-0.9.0.0和zookeeper-3.4.9。 我已經開始了動物園管理員服務以及生產者和消費者。但是，當我運行火花提交命令它會引發錯誤。 我使用下面的命令提交火花的工作：日誌 spark-submit --packages org.apache.spark:spark-streaming-kafka_2.11:1.5.0 /usr/local/spark/example
    python apache-spark apache-kafka spark-streaming 2017-10-17
最新問題