爲什麼使用Spark GraphX的sbt update會導致「Cross-version suffixes衝突」？

Question

這是我爲SBT與斯卡拉火花上的IntelliJ

version := "0.1" 

scalaVersion := "2.11.11" 

// https://mvnrepository.com/artifact/org.apache.spark/spark-graphx_2.10 
libraryDependencies += "org.apache.spark" % "spark-graphx_2.10" % "2.1.0" 

// https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11 
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.1.0" 

// https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11 
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.1.0" 

我收到以下錯誤

[error] (*:update) Conflicting cross-version suffixes in:org.apache.spark:spark-launcher, org.json4s:json4s-ast,   org.apache.spark:spark-network-shuffle, org.scalatest:scalatest, com.twitter:chill, org.json4s:json4s-jackson, com.fasterxml.jackson.module:jackson-module-scala, org.json4s:json4s-core,org.apache.spark:spark-unsafe, org.apache.spark:spark-tags, org.apache.spark:spark-core, org.apache.spark:spark-network-common 
[error] (*:ssExtractDependencies) Conflicting cross-version suffixes in: org.apache.spark:spark-launcher, org.json4s:json4s-ast, org.apache.spark:spark-network-shuffle, org.scalatest:scalatest, com.twitter:chill, org.json4s:json4s-jackson, com.fasterxml.jackson.module:jackson-module-scala, org.json4s:json4s-core, org.apache.spark:spark-unsafe, org.apache.spark:spark-tags, org.apache.spark:spark-core, org.apache.spark:spark-network-common 

任何人都可以讓我知道如何糾正這一點。對我來說，它看起來像spark-graphx與spark_core相矛盾。我如何找到正確的SBT文件？或者我應該怎麼做才能讓這個sbt文件起作用。我可以降低graphx的版本以及spark，但寧願降低spark的版本。

Answer 1

在你的sbt文件中，依賴關係被稱爲spark-_。您在graphX依賴項中使用不同的scala版本。

如果您使用Spark 2.x，我建議使用scala 2.11，因此您只需更改graphx依賴關係。

libraryDependencies += "org.apache.spark" % "spark-graphx_2.11" % "2.1.0" 

無論如何，你不需要在每個依賴項中編寫scala版本。如果您編寫兩個百分比符號%%，Sbt將根據scalaVersion值推斷。 Here，你可以看到一個例子。