在S3上嘗試保存非常大的SchemaRDD（如Parquet格式）時遇到了一些問題。我已經發布了針對這些問題的具體問題，但這是我真正需要做的。代碼應該看起來像這樣 import org.apache.spark._
val sqlContext = sql.SQLContext(sc)
val data = sqlContext.jsonFile("s3n://...", 10e-6)
da
我正在嘗試創建case類對象的RDD。 。例如， // sqlContext from the previous example is used in this example.
// createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD.
import sqlContext.createSchemaRDD
我使用scala在spark中創建數據源。我有一個案例類，並創建了一個RDD並將其註冊爲一個表。就像火花文檔中給出的例子一樣。 val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.createSchemaRDD
case class Person(name: String, age: Int)
我想構建一個Hive上下文，它從SQLContext繼承。 val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
我得到以下錯誤： error: object hive is not a member of package org.apache.spark.sql
val sqlContext = new or
如何在Apache Spark SQL中綁定變量？例如： val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("SELECT * FROM src WHERE col1 = ${VAL1}").collect().foreach(println)