2016-07-07 29 views
1

我需要一個值添加到HADOOP_CLASSPATH環境變量,根據該疑難解答文章:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.2/bk_installing_manually_book/content/troubleshooting-phoenix.htmlHDP:如何更改HADOOP_CLASSPATH價值

當我鍵入echo $HADOOP_CLASSPATH在控制檯我得到一個空的結果返回。我想我需要在config.xml文件中設置這些值...

在哪裏或如何將此新值設置爲環境變量?

我可以在​​中設置嗎?

+0

你檢查Hadoop的'Hadoop的env.sh'腳本在你的Hadoop的安裝(應該是在'/ etc /目錄hadoop')? –

回答

0

可以通過​​參數添加JAR路徑​​調用來避免的錯誤:

spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --driver-class-path "/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar 

它還通過設置--conf參數像這樣的工作:

spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --conf "spark.driver.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar 

設置的ONE他們應該這樣做!

同時添加--conf "spark.executor.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar"您​​如果你仍然得到一個異常(可以在代碼的執行者推出,而不是主人發生)

0

可以在spark-env.sh添加環境變量HADOOP_CONF_DIR所以每當你運行spark-submit它會自動選擇所有的環境變量。這個環境變量值是hadoop配置的路徑。

出口HADOOP_CONF_DIR =指向星火向Hadoop配置文件