上運行星火的工作，我的頂端有一個簡單的Hadoop集羣，其中星火運行（即星火使用紗作爲集羣管理器）。無法YARN集羣

我使用Hadoop 2.7;斯卡拉2.112.1;火花2.1.0和JDK 8

現在，當我提交作業，失敗的話，下面的消息：

17/04/06 23:57:55 INFO yarn.Client: Application report for application_1491534363989_0004 (state: ACCEPTED) 
17/04/06 23:57:56 INFO yarn.Client: Application report for application_1491534363989_0004 (state: FAILED) 
17/04/06 23:57:56 INFO yarn.Client: 
    client token: N/A 
    diagnostics: Application application_1491534363989_0004 failed 2 times due to AM Container for appattempt_1491534363989_0004_000002 exited with exitCode: 15 
For more detailed output, check application tracking page:http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004Then, click on links to logs of each attempt. 
Diagnostics: Exception from container-launch. 
Container id: container_1491534363989_0004_02_000001 
Exit code: 15

有沒有與JDK 8的任何問題？

更新

當我運行使用JDK 7相同的程序，它工作正常。所以我的問題是：Spark，scala，hadoop和JDK 8有什麼問題？

來源

2017-04-07 CuriousMind

不，我們運行早期版本的Hadoop和Spark在JDK 8，它工作正常。 – jamborta

可能是你遇到了一些問題，斯卡拉2.11，因爲它的Java 8支持是實驗 - http://www.scala-lang.org/news/2.11.1#required-java-version – jamborta

我相信問題是Hadoop從Java支持頁面2.7及更高版本僅支持JDK 7。 – CuriousMind

我一直在用的Java 8中使用的火花在紗線集羣，一切順利。從我所知道的更新版本的spark和scala需要java 8或更高版本。以下是您需要考慮的幾件事情。當你開始在hadoop-env.sh

檢查JAVA_HOME路徑紗線集羣確保所有需要的節點都使用了jps。
您在Hadoop日誌記錄。
去http://rm100.hadoop.cluster:8088/cluster/app/application_1491534363989_0004更多細節

來源

2017-04-07 10:59:04

非常感謝您的回覆;所有的守護進程都在運行。我也測試了hadoop2.8，但遇到同樣的問題。相同的程序在Jdk7上運行，但不在jdk8上運行。我們是否需要對Java設置進行任何更改？ – CuriousMind

你檢查了失敗消息中的應用程序日誌嗎？ –

無法YARN集羣

更新

回答

相關問題