將JavaDStream <String>轉換爲JavaRDD <String>

Question

我有一個從外部源獲取數據的JavaDStream。我正在嘗試整合Spark Streaming和SparkSQL。衆所周知，JavaDStream是由JavaRDD組成的。我只有在有JavaRDD時才能使用applySchema（）函數。請幫助我將它轉換爲JavaRDD。我知道scala中有函數，它更容易。但在Java中幫助我。

Answer 1

您無法將DStream轉換爲RDD。如你所說，一個DStream包含RDD。訪問RDD的方法是使用foreachRDD將函數應用於DStream的每個RDD。請參閱該文檔：https://spark.apache.org/docs/1.1.0/api/java/org/apache/spark/streaming/api/java/JavaDStreamLike.html#foreachRDD(org.apache.spark.api.java.function.Function2)

Answer 2

你必須首先獲得使用forEachRDD作爲該DSTREAM內的所有RDDS：

javaDStream.foreachRDD(rdd => { 
    rdd.collect.foreach({ 
     ... 
    }) 
})