2017-06-10 66 views
0

我想設置我的第一個Scala項目與IntelliJ IdeaUbuntu 16.04。我需要Spark庫,我想我已經在我的電腦上正確安裝了,但是我無法在項目依賴項中引用它。特別是,我已經添加了下面的代碼在我build.sbt支票火花包版本

libraryDependencies ++= Seq(
    "org.apache.spark" % "spark-core" % "2.1.1", 
    "org.apache.spark" % "spark-sql" % "2.1.1") 

然而sbt抱怨沒有找到正確的包(Unresolved Dependencies錯誤,org.apache.spark#spark-core;2.1.1: not foundorg.apache.spark#spark-sql;2.1.1: not found):

我覺得包的版本是不正確的(我從網上覆制了以前的代碼,只是爲了嘗試)。

如何確定正確的軟件包版本?

+0

@AreTour,你需要**階版本**綁定你的依賴,在** ** SBT,您可以通過''%%做到這一點:'「org.apache。 spark「%%」spark-core「%」2.1.1「' – chengpohi

回答

1

如果使用%您必須定義確切的版本

libraryDependencies ++= Seq(
    "org.apache.spark" % "spark-core_2.10" % "2.1.1", 
    "org.apache.spark" % "spark-sql_2.10" % "2.1.1") 

如果你不想定義版本,讓sbt採取正確的版本,那麼你需要定義%%

libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "2.1.1", 
    "org.apache.spark" %% "spark-sql" % "2.1.1") 

,你可以通過做

spark-submit --version 
檢查安裝版

而且通過將maven dependency

+0

好的,這部分解決了我的問題,因爲我想知道確切的版本。我在哪裏可以找到這些信息? – AreTor

+0

我已經更新了我的答案。我希望如果這就是你要找的 –

+0

'sbt'是不正確的版本,所以我手動添加它。 經過一番測試,在您資源的幫助下,我想出了我的版本。 – AreTor