可以通過參數添加JAR路徑調用來避免的錯誤:
spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --driver-class-path "/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar
它還通過設置--conf
參數像這樣的工作:
spark-submit --class sparkhbase.PhoenixTest --master yarn --deploy-mode client --conf "spark.driver.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar" /home/test/app.jar
設置的ONE他們應該這樣做!
同時添加--conf "spark.executor.extraClassPath=/usr/hdp/current/hbase-client/lib/hbase-protocol-1.1.2.2.4.2.0-258.jar"
您如果你仍然得到一個異常(可以在代碼的執行者推出,而不是主人發生)
你檢查Hadoop的'Hadoop的env.sh'腳本在你的Hadoop的安裝(應該是在'/ etc /目錄hadoop')? –