無法加載spark中的hivecontext zeppelin

我已經安裝了zeppelin。除了當我嘗試導入配置單元上下文時，一切正常。無法加載spark中的hivecontext zeppelin

我的齊柏林配置：

System.getenv().get("MASTER") 
System.getenv().get("SPARK_YARN_JAR") 
System.getenv().get("HADOOP_CONF_DIR") 
System.getenv().get("JAVA_HOME") 
System.getenv().get("SPARK_HOME") 
System.getenv().get("PYSPARK_PYTHON") 
System.getenv().get("PYTHONPATH") 
System.getenv().get("ZEPPELIN_JAVA_OPTS") 

res0: String = yarn-client 
res1: String = /home/centos/zeppelin-R-rscala/interpreter/spark/zeppelin-spark-0.6.0-incubating-SNAPSHOT.jar 
res2: String = /etc/hadoop/conf 
res3: String = /usr/jdk64/jdk1.8.0_60 
res4: String = /usr/hdp/2.3.4.0-3485/spark 
res5: String = null 
res6: String = /usr/hdp/current/spark-client/python/lib/py4j-0.8.2.1-src.zip:/usr/hdp/current/spark-client/python/: 
res7: String = -Dhdp.version=2.3.4.0-3485

我嘗試做

%spark 
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

的錯誤，我有：

java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:529) 
    at org.apache.spark.sql.hive.client.ClientWrapper.<init>(ClientWrapper.scala:193) 
    at org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute(HiveContext.scala:164) 
    at org.apache.spark.sql.hive.HiveContext.executionHive(HiveContext.scala:162) 
    at org.apache.spark.sql.hive.HiveContext.functionRegistry$lzycompute(HiveContext.scala:415)

注意，一切工作正常，如果我直接從啓動貝殼。

謝謝

來源

2016-01-12 patpat

這可能意味着你有Tez作爲Hive的執行引擎。你應該更改屬性在您使用星火蜂房-site.xml中：

<property> 
    <name>hive.execution.engine</name> 
    <value>mr</value> 
</property>

就我而言，我不得不通過Ambari改變它，但是這將取決於您的設置。

來源

2016-01-19 14:09:43 alghimo

嗨，我也使用Ambari和我在蜂房site.xml的財產都是這樣的火花和飛艇： hive.execution.engine TEZ – patpat

您是否嘗試過改變這種價值「mr」而不是「tez」？ – alghimo

嗨，其實我刪除了財產。謝謝你的回答解決了這個問題:) – patpat

無法加載spark中的hivecontext zeppelin

回答

相關問題