火花上下文不能在MLUtils.loadLibSVMFile和Intellij中重新使用

Question

我嘗試在這裏運行多層感知器分類器示例：https://spark.apache.org/docs/1.5.2/ml-ann.html，它似乎在spark-shell中運行良好，但不適用於像Intellij和Eclipse這樣的IDE。這個問題源於 val data = MLUtils.loadLibSVMFile(sc, "data/mllib/sample_multiclass_classification_data.txt").toDF()

IDE提示無法解析符號SC（sparkcontext），但庫路徑已經正確配置。如果有人能幫助我，謝謝！

Answer 1

實際上默認情況下沒有sc這樣的值。它是在spark-shell啓動時導入的。在任何有序的scala \ java \ python代碼中，您都應該手動創建它。我最近做了very low quality answer。您可以使用關於sbt和庫中的一部分。

接下來，您可以使用類似下面的代碼作爲模板來啓動。

import org.apache.spark.sql.SQLContext 
import org.apache.spark.{SparkContext, SparkConf} 

object Spark extends App { 
    val config = new SparkConf().setAppName("odo").setMaster("local[2]").set("spark.driver.host", "localhost") 
    val sc = new SparkContext(config) 
    val sqlc = new SQLContext(cs) 

    import sqlc.implicits._ 

//here you code follows 
} 

接下來你可以按Ctrl 移F10它