spark，kafka集成問題：對象kafka不是org.apache.spark.streaming的成員

我在IntelliJ IDE中構建我的spark應用程序（scala）時收到錯誤。這是一個使用Kafka Stream進行進一步處理的簡單應用程序。我添加了所有的jar文件，並且IDE沒有顯示任何未解決的導入或代碼語句。spark，kafka集成問題：對象kafka不是org.apache.spark.streaming的成員

但是，當我嘗試建立神器，我得到兩個錯誤，指出錯誤：（13，35）對象卡夫卡是不包的成員

org.apache.spark.streaming 
import org.apache.spark.streaming.kafka.KafkaUtils 

Error:(35, 60) not found: value KafkaUtils 
    val messages: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(streamingContext,zkQuorum,"myGroup",topics)

我也有類似的問題，但最的人在投訴時會抱怨這個問題。然而，我落後了一步，只是建立了最終會提交的jar文件。最重要的是，我使用的是IntelliJ IDE，並且有點新，可以用於spark和scala;迷失在這裏。

下面是錯誤的IntelliJ的快照 IntelliJ Error

感謝

奧馬爾

來源

2017-04-23 omer

你能指定Spark和Kafka的版本嗎？你確定spark-streaming-kafka jar被添加到你的pom.xml中嗎？ – user4342532

其卡夫卡0.10和火花1.6.2。我正在使用SBT所以不知道pom.xml和整個應用程序是使用IntelliJ – omer

的原因是，你需要添加spark-streaming-kafka-K.version-Sc.version.jar到你的pom.xml和以及你的火花lib目錄。

來源

2017-04-23 15:55:05 user4342532

構建的我對這個領域仍然很陌生，所以我不是如果我們使用maven並且在我的情況下pom.xml會發揮作用的話，那麼我們有SBT 。 – omer

我對這方面仍然很陌生，但我認爲pom.xml只有在使用maven時纔會發揮作用，而在我的情況下，我們有SBT。順便說一下，我設法通過IntelliJ提供所有的Jars在一個文件夾中，我從每個模塊複製（火花和卡夫卡 - 從hortonworks dsomehow，但我仍然不知道爲什麼IntelliJ沒有弄清楚，我試過了在其他帖子中提到的SBT.build解決方案在提交時會引發火花，但即使這樣也不起作用，我不得不在命令中指定jar文件夾來運行它，指定jar文件路徑非常麻煩。 – omer

spark，kafka集成問題：對象kafka不是org.apache.spark.streaming的成員

回答

相關問題