在Spark 2.0中使用SparkSession時的並行化（）方法

Question

我看到SparkSession沒有.parallelize()方法，我們是否需要再次使用SparkContext來創建RDD ?.如果是這樣，在單個程序中創建SparkSession & SparkContext是可取的？

Answer 1

一旦你建立你的SparkSession，你可以接着取得與它創建的基本SparkContext：

我們認爲SparkSession已定義：

val spark : SparkSession = ??? 

你可以得到SparkContext現在：

val sc = spark.sparkContext 

Answer 2

我需要導入spark implicits來創建datafarme，而不用調用parallelize。

import org.apache.spark.sql.SparkSession 

val spark = SparkSession 
    .builder() 
    .appName("Spark SQL basic example") 
    .master("local") 
    //  .config("spark.some.config.option", "some-value") 
    .getOrCreate() 

import spark.implicits._ 

val df = Seq(
    (1441637160, 10.0), 
    (1441637170, 20.0), 
    (1441637180, 30.0), 
    (1441637210, 40.0), 
    (1441637220, 10.0), 
    (1441637230, 0.0)).toDF("timestamp", "value") 


df.printSchema()