spark-kaka

1熱度

1回答

啓用Apache火花和卡夫卡經紀人之間的SSL

我想在我的Apache Spark 1.4.1和卡夫卡0.9.0.0之間啓用SSL，我正在使用spark-streaming-kafka_2.10 Jar連接到卡夫卡，並且我正在使用KafkaUtils.createDirectStream方法讀取數據來自卡夫卡的話題。最初，我得到了OOM問題，我通過增加驅動程序內存來​​解決它，之後我看到下面的問題，我已經做了一點閱讀，發現spark-strea

ssl apache-spark kafka-consumer-api spark-kaka kafka-directconsumer 2016-10-25

---

0熱度

1回答

如何保存卡夫卡星火消息流數據幀到單個文件

如何保存卡夫卡星火消息流數據幀到單個文件 我已經制定，這將消耗使用Kafka-星火流過程中的信息的應用程序。 一旦收到數據，它就會轉換成數據幀。 然後流式數據幀被保存爲文本文件，這裏數據幀被保存到每個文件中，用於每個kafka流消息，下面是我用於將數據保存爲文本文件的代碼，這是保存數據爲每條消息添加多個文本文件。 DF.coalesce(1).write.format("com.databrick

hadoop apache-spark spark-dataframe spark-streaming spark-kaka 2017-10-12

---

0熱度

1回答

用Kafka-Spark集成找不到集合（[topic，0]）的領導者

我正在嘗試使用用於Kafka-Spark集成的SSL。我已經測試了卡夫卡啓用了SSL，它與樣本消費者和生產者完全合作。 而且，我已經試過星火整合 - 卡夫卡沒有火花工作 SSL完成時也沒有工作的問題。 現在，當我使SSL在火花工作我得到一個異常和集成不起作用。 的ONLY變化我沒有讓SSL在火花工作是包括在我的工作，下面的代碼行： sparkConf.set("security.protocol"

ssl apache-spark apache-kafka spark-streaming spark-kaka 2017-05-24

---