值的讀取不是org.apache.spark.SparkContext的成員

Question

scala的版本是2.11.8; jdk是1.8;火花是2.0.2

我嘗試在the offical site of spark apache運行LDA模型的例子，我得到了錯誤信息，從下面的句子：

val dataset = spark.read.format("libsvm") 
    .load("data/libsvm_data.txt") 

錯誤按摩：

Error:(49, 25) value read is not a member of org.apache.spark.SparkContext val dataset = spark.read.format("libsvm") ^

我不知道如何解決它。

Answer 1

貌似你試圖調用read在SparkContext，而不是SQLContext或SparkSession：

// New 2.0.+ API: create SparkSession and use it for all purposes: 
val session = SparkSession.builder().appName("test").master("local").getOrCreate() 
session.read.load("/file") // OK 

// Old <= 1.6.* API: create SparkContext, then create a SQLContext for DataFrame API usage: 
val sc = new SparkContext("local", "test") // used for RDD operations only 
val sqlContext = new SQLContext(sc) // used for DataFrame/DataSet APIs 

sqlContext.read.load("/file") // OK 
sc.read.load("/file") // NOT OK 

Answer 2

爲sqlcontext功能完整的語法如下

val df = sqlContext 
       .read() 
       .format("com.databricks.spark.csv") 
       .option("inferScheme","true") 
       .option("header","true") 
       .load("path to/data.csv"); 

在您正在閱讀/寫作csv文件的情況下