spark maven jar文件依賴關係

Question

我已經使用Eclipse與Maven，Java和Scala開發了一個簡單的Spark應用程序。 在目標文件夾下，Maven install命令創建了兩個JAR文件，其中一個名爲application.jar，另一個名爲application-with-dependencies.jar。我的問題是我應該使用哪個JAR文件將其提交給Spark羣集？另外，爲什麼有兩個JAR文件？所謂的文件application.jar是大小的一小部分應用與-dependencies.jar

Answer 1

Maven的平時只生成包含編譯的類和資源的JAR文件，但使用一些插件，如maven-assembly-plugin，Maven可以還會生成一個超級jar包，即：一個JAR文件，其中不僅包含您的類和資源，還包含您的項目依賴的庫。

沒有更多信息application-with-dependencies-jar看起來像那些超級罐子之一。

從spark documentation看起來像是您必須提交給Spark羣集的JAR。