sc.textFile不能在文本文件

Question

我使用的IntelliJ斯卡拉低於

解析符號是我的代碼：

import org.apache.spark.SparkConf 
import org.apache.spark.sql._ 
import org.apache.spark.sql.types._ 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
object XXXX extends App{ 

    val sc = new SparkConf() 
    val DataRDD = sc.textFile("/Users/itru/Desktop/XXXX.bz2").cache() 
} 

我build.sbt文件包含如下：

name := "XXXXX" 
version := "1.0" 
scalaVersion := "2.11.8" 
libraryDependencies ++= Seq("org.apache.spark" %% "spark-core" % "1.5.2" %"provided", 
"org.apache.spark" %% "spark-sql" % "1.5.2" % "provided") 

包下載，但仍然我看到錯誤「無法解析textFile符號」我是否缺少任何庫依賴關係

Answer 1

您還沒有初始化您的SparkContext。

val sparkConf = new SparkConf() 
val sc = new SparkContext(sparkConf) 

val dataRDD = sc.textFile("/Users/itru/Desktop/XXXX.bz2").cache()