使用sbt解決火花依賴關係

我試圖構建一個非常基本的具有火花依賴性的scala腳本。但我無法制作出它的罐子。產生使用sbt解決火花依賴關係

錯誤：

sbt.ResolveException：未解析的依賴性：org.apache.spark＃火花core_2.12; 1.6.0-快照：未發現

我的身材。 SBT：

import Dependencies._ 

    lazy val root = (project in file(".")). 
    settings(
       inThisBuild(List(
           organization := "com.example", 
           scalaVersion := "2.12.1", 
           version  := "0.1.0-SNAPSHOT" 
          )), 
       name := "Hello", 
       libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0-SNAPSHOT", 
       resolvers += Resolver.mavenLocal 
       )

package example 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark.SparkConf 

object Hello { 
    def main(args: Array[String]) { 
      val logFile = "/Users/dhruvsha/Applications/spark/README.md"     
      val conf = new SparkConf().setAppName("Simple Application") 
      val sc = new SparkContext(conf) 
      val logData = sc.textFile(logFile, 2).cache() 
      val numAs = logData.filter(line => line.contains("a")).count() 
      val numBs = logData.filter(line => line.contains("b")).count() 
      println(s"Lines with a: $numAs, Lines with b: $numBs") 
      sc.stop() 
     } 
}

我的源斯卡拉是：

/exampleapp/main/scala/example/Hello.scala

項目名稱是ExampleApp中。

階版本2.12.2

火花1.6.0版本

SBT版本0.13.13

任何形式的幫助將受到讚賞和將是巨大的，如果你能提供學習關於sbt和spark依賴的資源。

請參閱我是新來的scala，spark和sbt。

來源

2017-06-04 dhruvsharma

的library dependencies線build.sbt似乎是錯誤的

正確的應爲

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0"

來源

2017-06-04 08:03:39

它工作得很好。你能指出它有什麼問題嗎？在這裏2.10和1.6.0是什麼，爲什麼我需要添加這些。請看我對它真的很陌生，如果你能給我一些資源來學習sbt會很好。 – dhruvsharma

如果您訪問[maven dependency repo]（https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.10/1.6.0），您可以在sbt選項卡下看到依賴格式。「org.apache.spark」是groupId，「spark-core_2.10」是artifactId，「1.6.0」是修訂版。你可以看看[sbt-Reference]（http://www.scala-sbt.org/0.13/docs/Library-Management.html） –

有人可以解釋爲什麼它是一個downvote？ –

使用sbt解決火花依賴關係

回答

相關問題