與Kafka 2.0.0依賴關係的火花流傳輸

Question

我試圖使用spark-streaming2.0.0消費一個kafka 0.8主題，我試圖找出所需的依賴關係我嘗試過在我的build.sbt文件中使用這些依賴關係

libraryDependencies += "org.apache.spark" %% "spark-streaming_2.11" % "2.0.0" 

當我運行SBT包我得到未解決的依賴於這三個罐子，

但這些罐子確實存在

https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-kafka-0-8_2.11/2.0.0

請在調試這個問題上需要幫助，我是新來斯卡拉所以請讓我知道，如果我不這樣做正確的事情

Answer 1

的問題是，你指定也使用%%斯卡拉版本，試圖以推斷您正在使用的Scala版本。

要麼刪除一個%：

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0" 
libraryDependencies += "org.apache.spark" % "spark-streaming_2.11" % "2.0.0" 
libraryDependencies += "org.apache.spark" % "spark-streaming-kafka-0-8_2.11" % "2.0.0" 

或刪除斯卡拉版本：

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.0.0" 
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.0.0" 
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka-0-8" % "2.0.0"