我需要將org.apache.spark.rdd.RDD [Array [Byte]]轉換爲Spark Streaming中的Array [Byte]

Question

我試圖通過kafka將json文件解析爲spark流。

我寫了一個函數，需要Array[Byte]。

stream.foreachRDD(rdd=> 
    parseAVROToString(rdd) 
) 

ssc.start 

要使用parseAVROToString我需要Array[Byte]。 我收到以下錯誤消息：

found : org.apache.spark.rdd.RDD[Array[Byte]] required: Array[Byte] parseAVROToString(rdd) 

Answer 1

你可以試試這個：

stream.foreachRDD(rdd => { 
    rdd.foreach(record = > parseAVROToString(record)) 
}) 

但foreachRDD是用來保存強調RDDS到外部文件或數據庫的輸出操作。我認爲stream.transform可能對您的情況有用。