問題運行星火工作

我想在的Hadoop YARN集羣模式下運行我的火花的工作，我現在用下面的命令：問題運行星火工作

spark-submit --master yarn-cluster 
      --driver-memory 1g 
      --executor-memory 1g 
      --executor-cores 1 
      --class com.dc.analysis.jobs.AggregationJob 
       sparkanalitic.jar param1 param2 param3

我得到以下錯誤，請建議怎麼回事錯，命令是否正確。我正在使用CDH 5.3.1。

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with 
exitCode: 15 due to: Exception from container-launch. 

Container id: container_1424284032717_0066_02_000001 
Exit code: 15 
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) 
    at org.apache.hadoop.util.Shell.run(Shell.java:455) 
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702) 
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299) 
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81) 
    at java.util.concurrent.FutureTask.run(FutureTask.java:262) 
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) 
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) 
    at java.lang.Thread.run(Thread.java:745) 

Container exited with a non-zero exit code 15 
.Failing this attempt.. Failing the application. 
    ApplicationMaster host: N/A 
    ApplicationMaster RPC port: -1 
    queue: root.hdfs 
    start time: 1424699723648 
    final status: FAILED 
    tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066 
    user: hdfs 

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: [email protected] 
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called 
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

任何幫助將不勝感激。

來源

2015-02-24 Sachin Singh

你能粘貼spark-defults.conf？ – 2015-03-25 18:40:38

@ user392589您是否爲此計劃了一個解決方案？ – 2015-10-05 06:26:20

該命令看起來正確。

我遇到的是，「退出代碼15」通常表示一個TableNotFound異常。這通常意味着您提交的代碼存在錯誤。

您可以通過訪問跟蹤URL來檢查這一點。

來源

2015-04-28 17:58:36 amd

這可能意味着很多事情，對於我們來說，由於不支持的Java類版本，我們會得到相似的錯誤消息，並且通過刪除項目中引用的Java類來解決該問題。

使用此命令可以看到詳細的錯誤信息：

yarn logs -applicationId application_1424284032717_0066

來源

2015-05-03 23:38:41

對於新版本，參數稱爲'-applicationId'。 – Im0rtality 2016-04-20 17:44:05

對我出口的代碼問題放置在hive-site.xml目錄spark/conf解決。

來源

2015-10-10 11:57:13

您應該刪除代碼中的「.setMaster（」local「）」。

來源

2015-12-26 14:26:11

爲什麼'local' - 如果用戶想要在集羣模式下運行作業？ – 2016-01-20 10:36:57

拆下火花塞的配置文件中的行"spark.master":"local[*]「如果你在羣集中運行的火花的作業。

在本地PC假設來看，包括它。

瑪尼

來源

2018-03-04 08:31:51

問題運行星火工作

回答

相關問題