如何在Scala中拼合ArrayBuffer

Question

以下是一段代碼示例。我正在使用RDDS數組來存儲對象。我想在這個RDDS數組上使用flatMap並將其存儲到數據框中。

var ArrayofRDDs: ArrayBuffer[T] = null 
for(i <- 1 to 10) { 
    val data = <A function that returns an object of type T> 
    ArrayofRDDs :+ data 
} 

有人可以幫助如何在Array of RDD上使用flatMap嗎？

Answer 1

如何使用flatMap上RDDS

的數組根本就沒有。 RDD不是GenTraversableOnce，如果不使用collect的某些變體，則不能轉換爲一個RDD。如果您想要合併多個RDD，只需使用SparkContext.union。