SparkStreaming - ExitCodeException exitCode = 13

Question

我使用spark-submit on yarn-cluster運行我的Spark應用程序。 當我在本地模式下運行它工作正常。 但是，當我嘗試使用spark-submit在yarn-cluster上運行它時，它會運行一段時間，然後用以下執行退出。

Diagnostics: Exception from container-launch. 
Container id: container_1435576266959_1208_02_000002 
Exit code: 13 
Stack trace: ExitCodeException exitCode=13: 
     at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
     at org.apache.hadoop.util.Shell.run(Shell.java:455) 
     at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715) 
     at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302) 
     at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82) 
     at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
     at java.lang.Thread.run(Thread.java:745) 

任何幫助將不勝感激。

Answer 1

我得到了解決方案。

在我的Spark Streaming應用程序中，我設置了SparkConf.setMaster（「local [*]」），並在spark-submit中提供了--master紗線羣集。

所以兩位大師都存在衝突，並且它仍然處於接受狀態並退出。