執行器在Spark獨立部署中失敗

我在本地windows機器上運行spark。當我將master設置爲本地時，它工作得很好，但是當我給它一個集羣master uri時，它會爲它啓動的每個執行器引發以下異常。
17/10/05 17:27:19 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20171005172719-0006/0 is now FAILED (java.lang.IllegalStateException: Library directory 'C:\Spark\bin\.\assembly\target\scala-2.10\jars' does not exist; make sure Spark is built.)

我試着在本地激發獨立環境。所以我已經啓動了一個主節點和工作節點，並將主網址提供給我的驅動程序。我確定我的SPARK_HOME環境變量設置爲C:\Spark（我放置火花的位置）。

任何幫助解決這個問題，將不勝感激，謝謝。執行器在Spark獨立部署中失敗

來源

2017-10-05 Rakesh

你能分享確切的spark-submit命令嗎？ –

spark-submit --class SparkApp --master spark：// {IP}：7077「D：\ work \ Examples \ SparkExample \ target \ SparkExample-0.0.1-SNAPSHOT.jar」 – Rakesh

請將您的代碼和spark-提交命令 –

我以某種方式設法找到了解決這個問題的方法。這個問題是由spark home的路徑變量造成的，當我添加一個路徑變量%SPARK_HOME%\bin時沒有選擇SPARK_HOME（環境變量）。然後我刪除了該環境變量和路徑變量，再次添加它們並重新啓動我的系統。有效。

來源

2017-10-06 05:52:40 Rakesh

執行器在Spark獨立部署中失敗

回答

相關問題