異常：java.lang.Exception：在使用主'紗線'運行時，必須在環境中設置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花

我是新的apache-spark。我已經測試火花獨立一些應用mode.but我想要運行的應用程序的紗線mode.I我在windows.Here運行Apache的火花2.1.0是我的代碼異常：java.lang.Exception：在使用主'紗線'運行時，必須在環境中設置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

例外：當與主機上運行「紗線「必須在環境中設置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花

所以從搜索網站。我創建了一個文件夾名稱HADOOP_CONF_DIR並放置蜂箱的site.xml中，指着一個環境變量，從那以後，我已經運行拒絕例外我想我無法配置紗火花提交以後，我得到了

連接模式正確設置。任何人都可以幫我解決這個問題嗎？我是否需要單獨安裝Hadoop和紗？我想在僞運行我的應用程序分發mode.Kindly幫我在感謝窗口配置紗模式

來源

2017-06-08 Kalyan

需要導出兩個變量HADOOP_CONF_DIR和YARN_CONF_DIR，讓您的配置文件中看到紗線。如果您使用的是Linux，請在.bashrc文件中使用以下代碼。

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在windows中你需要設置環境變量。

希望這會有所幫助！

來源

2017-06-08 11:25:43

感謝您的回覆。我之前看過Linux配置，但目前我正在使用Windows。我有winutils文件夾，實際上是我的Hadoop家。這是我的Hadoop家庭環境變量。你指的是我會設置HADOOP_CONF_DIR，YARN_CONF_DIR作爲將指向winutils的bin文件夾的環境變量？ – Kalyan

異常：java.lang.Exception：在使用主'紗線'運行時，必須在環境中設置HADOOP_CONF_DIR或YARN_CONF_DIR。在火花

回答

相關問題