apache spark集羣

Question

我試圖在紗線客戶端模式（不帶火花提交）模式下單獨運行火花立場應用。我在類路徑中給出了spark-assembly-1.1.0-hadoop2.4.0.jar和hadoop conf（yarn-site.xml），但yarn沒有從yarn-site.xml中選取ResourceManager url，而是默認爲8032端口。

謝謝

Answer 1

請注意，如果您已在classpath添加了一個以上路徑，你必須做出HADOOP_CONF_DIR第一個。

這是我的應用程序的啓動腳本：

set HADOOP_CONF_DIR=D:\data\yarnv2_5\Hadoop\etc\hadoop 
set PATH=%PATH%;D:\data\AppDependencies\jdk1.8\bin 
set JAVA_HOME=D:\data\AppDependencies\jdk1.8 
set AKKA_HOME=%~dp0 
set JAVA_OPTS=-Xmx100g -Xms1024M -Xss1M -XX:MaxPermSize=256M -XX:+UseParallelGC -Dfile.encoding=UTF8 
set AKKA_CLASSPATH=%AKKA_HOME%\* 

rem The order matters! Be sure to put HADOOP_CONF_DIR in the first place. 
set APP_CLASSPATH = %HADOOP_CONF_DIR%;%AKKA_CLASSPATH% 

java %JAVA_OPTS% -cp "%IN4_CLASSPATH%" com.Application 

如果你選擇一個以上的路徑在classpath，Hadoop的（或者更準確地說，JVM）一旦它找到的配置文件將停止。第一條路徑往往是你當前的路徑，它會在你的spark-assembly-1.x.x-hadoop-2.x.x.jar中找到配置文件，而你在HADOOP_CONF_DIR中的配置將不顯示任何影響。