如何使用期望RDD [（Double，Double）]作爲Seq [Seq [（Double，Double）]]的輸入的函數？

Question

我有型Seq[Seq[(Double, Double)]]的變量：

val output: Seq[Seq[(Double, Double)]] = runStreams(ssc, numBatches, numBatches) 

現在我想申請功能RegressionMetrics這需要RDD[(Double, Double)]作爲輸入：

val metrics = new RegressionMetrics(output) 

如何變換Seq[Seq[(Double, Double)]]到RDD [（雙人間， Double）]`爲了能夠使用類RegressionMetrics的函數？

Answer 1

RDD就是Apache斯巴克的一個分佈式彈性數據集

要創建一個RDD你需要的SparkContext一個實例，它可以被看作是一個「連接」或「處理」到抽象運行Apache Spark的集羣。

假設：

• 你有一個實例SparkContext
• 你要正確對待你的輸入作爲(Double, Double)值的「扁平化」的序列，忽略的方式，這些都是目前「拆分」成在Seq[Seq[(Double, Double)]]中的子序列

您可以創建一個RDD，如下所示：

val sc: SparkContext = ??? 
val output: Seq[Seq[(Double, Double)]] = ??? 

val rdd: RDD[(Double, Double)] = sc.parallelize(output.flatten)