如何將矩陣轉換爲火花中的RDD [矢量]

Question

如何轉換org.apache.spark.mllib.linalg.Matrix至RDD[org.apache.spark.mllib.linalg.Vector] in Spark？

該矩陣是從SVD生成的，我使用SVD的結果進行聚類分析。

Answer 1

MLlib的Matrix是一個小的局部矩陣。在本地進行分析而不是將其轉化爲RDD可能更有效。

無論如何，如果您的集羣僅支持RDD作爲其輸入，這裏是你如何能做到轉型：

import org.apache.spark.mllib.linalg._ 
def toRDD(m: Matrix): RDD[Vector] = { 
    val columns = m.toArray.grouped(m.numRows) 
    val rows = columns.toSeq.transpose // Skip this if you want a column-major RDD. 
    val vectors = rows.map(row => new DenseVector(row.toArray)) 
    sc.parallelize(vectors) 
}