將一行轉換爲火花scala中的列表

Question

這樣做有可能嗎？我的數據框中的所有數據（大約1000列）都是雙倍數據，我是否可以將一行數據轉換爲雙精度列表？

Answer 1

您可以在一行中使用toSeq方法，然後從Seq[Any]的類型轉換爲Seq[Double]（如果你確信所有列的數據類型是雙）：

val df = Seq((1.0,2.0),(2.1,2.2)).toDF("A", "B") 
// df: org.apache.spark.sql.DataFrame = [A: double, B: double] 

df.show 
+---+---+ 
| A| B| 
+---+---+ 
|1.0|2.0| 
|2.1|2.2| 
+---+---+ 

df.first.toSeq.asInstanceOf[Seq[Double]] 
// res1: Seq[Double] = WrappedArray(1.0, 2.0) 

如果您有字符串類型列，使用toSeq然後用map與模式匹配的String轉換到雙：

val df = Seq((1.0,"2.0"),(2.1,"2.2")).toDF("A", "B") 
// df: org.apache.spark.sql.DataFrame = [A: double, B: string] 

df.first.toSeq.map{ 
    case x: String => x.toDouble 
    case x: Double => x 
} 
// res3: Seq[Double] = ArrayBuffer(1.0, 2.0) 

Answer 2

如果你有一個dataframe與doubles要轉換成的doublesList，那麼就轉換dataframe爲rdd，這將給你RDD[Row]你可以隱蔽的這List爲

dataframe.rdd.map(_.toSeq.toList) 

您將得到list of doubles