星火提交失敗上的Apache常見配置

Question

XMLConfiguration中呼叫的setEntityResolver我有一個問題，當我嘗試提交我的火花申請提交命令：

/bin/spark-submit --class MyClass myjar.jar 

我設置主網址編程。

我獲得以下錯誤：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.commons.configuration.XMLConfiguration.setEntityResolver(Lorg/xml/sax/EntityResolver;)V 

當我運行我的IDE程序正確工作

。這個問題不會出現。

Answer 1

我終於找到了問題的原因。

Spark使用hadoop-client-2.2.0使用hadoop-common-common-configuration-1.6。

在我的應用程序中，我使用了common-configuration-v1.10，其中XMLConfiguration.setEntityResolver被實現。而不是在該庫的1.6版本中，該方法不存在。

當我運行：

/bin/spark-submit --class MyClass myjar.jar 

常見配置-V1.6的XMLConfiguration.class加載和JVM沒有找到方法setEntityResolver

我一直在使用常見的配置-V2解決.0-beta1在我的應用程序中。

Answer 2

看起來你正在提交的jar可能沒有它需要的所有依賴關係。解決方案是構建一個裝配罐，請參閱https://maven.apache.org/plugins/maven-assembly-plugin/usage.html（適用於maven）或https://github.com/sbt/sbt-assembly（適用於sbt）。