火花流功能通過異常火花提交時間

當我像正常的Scala應用程序一樣運行Spark Spark功能時，它按預期工作。

我能夠捕捉我的卡夫卡事件並能夠存儲在hdfs本身。

當我試圖使用spark-submit命令作爲流式jar運行時，出現下面的錯誤。

spark-submit --class Test --master yarn --executor-memory 20G --num-executors 50 spark-kafka-streaming-0.0.1-SNAPSHOT-jar-with-dependencies.jar 



16/02/16 08:39:23 INFO scheduler.JobGenerator: Started JobGenerator at 1455640800000 ms

16/02/16 8點39分23秒INFO scheduler.JobScheduler：開始的jobscheduler 16/02/16 8時40分○○秒INFO utils.VerifiableProperties：驗證性能

16/02/16 08:40:00 INFO utils.VerifiableProperties: Property group.id is overridden to 
16/02/16 08:40:00 INFO utils.VerifiableProperties: Property zookeeper.connect is overridden to 
16/02/16 08:40:00 ERROR actor.ActorSystemImpl: Uncaught fatal error from thread [sparkDriver-akka.actor.default-dispatcher-2] shutting down ActorSystem [sparkDriver] 
java.lang.NoSuchMethodError: org.apache.spark.streaming.kafka.DirectKafkaInputDStream.id()I 
    ache.spark.streaming.kafka.DirectKafkaInputDStream.compute(DirectKafkaInputDStream.scala:165)at org.ap 
at ache.spark.streaming.kafka.DirectKafkaInputDStream.compute(DirectKafkaInputDStream.scala:165)at org.ap at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1$$anonfun$1.apply(DStream.scala:300) 
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1$$anonfun$1.apply(DStream.scala:300) 
at scala.util.DynamicVariable.withValue(DynamicVariable.scala:57) 
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1.apply(DStream.scala:299) 
at org.apache.spark.streaming.dstream.DStream$$anonfun$getOrCompute$1.apply(DStream.scala:287)

請幫助我解決這個問題。

在此先感謝。

來源

2016-02-16 sai kumar

InputDStream.id被添加到Spark Streaming 1.4以來。因此，很可能spark-kafka-streaming-0.0.1-SNAPSHOT-jar-with-dependencies.jar使用Spark 1.4+生成，而Spark版本低於1.4。

通常，您應該始終使用相同的版本進行編譯和運行。

第一步是使用bin/spark-submit --version檢查您的spark-submit版本。然後檢查maven pom.xml（或sbt構建文件）中Spark jar的版本，看它們是否相同。如果沒有，更新任一個，並確保它們相同。要更新，你可能需要從http://spark.apache.org/downloads.html

來源

2016-02-16 17:16:21 zsxwing

喜zsxwing下載正確的版本，感謝您的回覆，同一個項目的時候，我試圖運行正常斯卡拉應用它工作正常。如果是罐子相關的問題，請告訴我如何解決這個問題。你可以請建議我如何使我的spark-kafka-streaming-0.0.1-SNAPSHOT-jar-with-dependencies.jar按預期工作。請您詳細說明答案。 –

火花流功能通過異常火花提交時間

回答

相關問題