如何將DStream轉換爲avro格式並保存在hdfs中的文件

Question

我有一個類型爲[String，ArrayList [String]]的DStream，我想將此DStream轉換爲avro格式並將其保存爲hdfs。我怎麼能做到這一點？

Answer 1

您可以將您的流轉換爲JavaRDD或將其轉換爲DataFrame並將其寫入文件並提供Avro格式。

// Apply a schema to an RDD 
DataFrame booksDF = sqlContext.createDataFrame(books, Books.class); 
booksDF.write() 
    .format("com.databricks.spark.avro") 
    .save("/output"); 

更多示例請訪問Accessing Avro Data Files From Spark SQL。

希望這有助於。