2016-07-05 90 views
1

我在做紗線上的spark-submit,並且出現以下錯誤。任何線索我做錯了什麼?Spark上的Yarn錯誤提交YarnConfiguration.useHttps NoSuchMethodError

16/07/05 14:21:49 INFO spark.SparkContext:成功停止SparkContext 16/07/05 14:21:49 INFO yarn.ApplicationMaster:取消註冊失敗的ApplicationMaster(診斷消息:用戶類引發異常:java.lang.NoSuchMethodError:org.apache.hadoop.yarn.conf.YarnConfiguration.useHttps(Lorg/apache/hadoop/conf/Configuration;)Z) 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:關閉遠程守護進程。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:遠程守護進程關閉;繼續沖洗遠程傳輸。 16/07/05 14:21:49 INFO impl.AMRMClientImpl:等待應用程序成功取消註冊。 16/07/05 14:21:49 INFO remote.RemoteActorRefProvider $ RemotingTerminator:遠程關閉。

回答

0

經過很多的鬥爭之後,我發現,問題是我正在構建包含spark的所有依賴關係的uber jar。當我在沒有依賴關係的情況下構建包並且在spark提交期間將相關jar添加爲--jar時,問題已解決。看起來像NoSuchMethodError或ClassNotFoundException的大部分時間問題都可以用這種方法解決。

相關問題