無法在YARN上運行Spark 1.2

我無法在使用Spark 1.2的YARN上運行簡單的Java應用程序。無法在YARN上運行Spark 1.2

當運行：

spark-submit --class SQL --master yarn-client --executor-memory 2g 
--executor-cores 1 target/learning-spark-mini-example-0.0.1.jar

執行期間，spark-assembly-1.2.0-hadoop2.4.0.jar在網絡上，這需要很長的時間傳輸。看起來很奇怪，爲什麼要上傳這麼大的文件？它不應該已經在集羣上嗎？

這裏是我正在使用的配置： http://pastebin.com/qVsC5qdM。

應該指出，沒有任何用戶名或密碼是任何指定的。我不清楚我應該在哪裏設置它們。 Spark嘗試在羣集上使用我本地的「lorenzo」用戶名（它也存在於此處）。

任何幫助將不勝感激。

2015-04-26 Lorenzo

如何發佈實際代碼？ –

在運行自己的代碼之前，您是否嘗試過運行提供的示例應用程序之一，只是爲了檢查問題是否在配置中？ –

我還沒有運行示例代碼。代碼沒有做任何事......這裏雖然是http://pastebin.com/XaxGhBV8我肯定它是一個配置錯誤的國王。 – Lorenzo

這可能會最終成爲其他人也報告的NoClassDefFoundError: org/apache/hadoop/service/CompositeService。

要排除，請看看here。

2015-04-26 23:16:47

我使用Linux，所以並非如此。不管怎麼說，我試着在集羣內運行spark-submit，它工作正常。 – Lorenzo

我認爲這個錯誤不會發生在Win上，我的錯誤。 –

回答