Spark 2.1.0錯誤 - kafka.cluster.BrokerEndPoint不能轉換爲kafka.cluster.Broker

Question

我已經看到了關於此的其他幾個問題，表明這是一個依賴/版本問題，例如， kafka.cluster.BrokerEndPoint cannot be cast to kafka.cluster.Broker

但是，我不能說我的依賴關係有什麼問題。我使用的是星火2.1.0，並

org.apache.spark.spark-core_2.11 
org.apache.spark.spark-sql_2.11 
org.apache.spark.spark-streaming-kafka-0-8_2.11 
org.apache.spark.spark-streaming_2.11 

在我的工作依賴的JAR我試圖通過​​運行。我知道Kafka服務器的代理版本是0.8，而這些依賴關係都設置爲2.1.0。所有這些依賴關係似乎都是兼容的，所以我不確定我的錯誤在哪裏。

編輯：我發現，如果我改變spark-streaming-kafka-0-8_2.11是一個提供的依賴，並通過它當我打電話​​，它的工作原理。我不確定這是爲什麼，爲什麼我不能將它與其他所有東西捆在一起。

Answer 1

檢查以確保您沒有在運行時類路徑中的某處可能會被加載的任何Kafka jar。