從文本文件中讀取矩陣作爲向量的RDD

Question

我正在嘗試從一個標籤分隔的文本文件中逐行讀取一個大的雙精度矩陣。這在Scala/Apache Spark中。

如果我做到以下幾點：

VAL實測值= sc.textFile（ 「path_to_text_file」）

我得到OBS：org.apache.spark.rdd.RDD [字符串]

然而，要求有一個向量的RDD。你會幫忙嗎？

感謝和問候，

Answer 1

像這樣的事情可能會爲你工作：

final val SEPARATOR_AS_REGEX = ";"//Replace it with your separator regex 
obs.map(line => line.split(SEPARATOR_AS_REGEX).map(
    //Parse the individual elements 
    arr => arr.map(s => parseDouble(s)) 
).map(ds => new DenseVector(ds)))//Convert to the expected type