如何通過Spark流和Apache水槽將Kafka主題加載到HDFS

Question

我正在學習Kafka階段。 使用cloudera env。

我對卡夫卡創建一個話題：

/opt/bitnami/kafka/bin/kafka-topics.sh --create --zookeeper 35.195.113.105:2181 --replication-factor 1 --partitions 1 --topic airports 

監製：

/opt/bitnami/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic airports </home/bitnami/airports.csv 

我需要使用的Spark流和水槽複製在HDFS這個主題。

關於如何做到這一點的任何想法或建議。

問候， SAURABH

Answer 1

閱讀本文檔第一http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html。你會得到如何在kafka comsumer消息。然後在foreachRDD函數中添加HDFS客戶端代碼，將消息寫入HDFS。