Apache Spark：如何將Spark DataFrame轉換爲類型爲RDD [（Type1，Type2，...）]的RDD？

Question

例如，假設我有數據幀：

var myDF = sc.parallelize(Seq(("one",1),("two",2),("three",3))).toDF("a", "b") 

我可以用地圖將其轉換爲RDD[(String, Int)]：

var myRDD = myDF.map(r => (r(0).asInstanceOf[String], r(1).asInstanceOf[Int])) 

有沒有更好的方式來做到這一點，也許使用DF模式？

Answer 1

使用模式匹配在：

import org.apache.spark.sql.Row 

myDF.map{case Row(a: String, b: Int) => (a, b)} 

火花1.6+可以使用Dataset如下：

myDF.as[(String, Int)].rdd