通過Oozie 4.1.0.3在Spark中運行Hive查詢

在java中使用Oozie 4.1.0.3版在Spark中運行Hive Query時發現表未找到異常。通過Oozie 4.1.0.3在Spark中運行Hive查詢

複製蜂房-site.xml中和蜂房default.xml中從HDFS路徑中使用

workflow.xml：

<start to="scala_java"/> 
<action name="scala_java"> 
<java> 
<job-tracker>${jobTracker}</job-tracker> 
<name-node>${nameNode}</name-node> 
<job-xml>${nameNode}/user/${wf:user()}/${appRoot}/env/devbox/hive- site.xml</job-xml> 
<configuration> 
<property> 
<name>oozie.hive.defaults</name> 
<value>${nameNode}/user/${wf:user()}/${appRoot}/env/devbox/hive-default.xml</value> 
</property> 
<property> 
<name>pool.name</name> 
<value>${etlPoolName}</value> 
</property> 
<property> 
<name>mapreduce.job.queuename</name> 
<value>${QUEUE_NAME}</value> 
</property> 
</configuration> 
<main-class>org.apache.spark.deploy.SparkSubmit</main-class> 
<arg>--master</arg> 
<arg>yarn-cluster</arg> 
<arg>--class</arg> 
<arg>HiveFromSparkExample</arg> 
<arg>--deploy-mode</arg> 
<arg>cluster</arg> 
<arg>--queue</arg> 
<arg>testq</arg> 
<arg>--num-executors</arg> 
<arg>64</arg> 
<arg>--executor-cores</arg> 
<arg>5</arg> 
<arg>--jars</arg> 
<arg>datanucleus-api-jdo-3.2.6.jar,datanucleus-core-3.2.10.jar,datanucleus- rdbms-3.2.9.jar</arg> 
<arg>TEST-0.0.2-SNAPSHOT.jar</arg> 
<file>TEST-0.0.2-SNAPSHOT.jar</file> 
</java>

INFO yarn.ApplicationMaster：最終應用狀態：失敗，EXITCODE：15，（原因：用戶類拋出的異常：找不到表test_hive_spark_t1）

異常在線程「驅動程序」 org.apache.hadoop.hive.ql.metadata.InvalidTableException：表中未發現test_hive_spark_t1

at org.apache.hadoop.hive.ql.metadata.Hive.getTable(Hive.java:980) 

    at org.apache.hadoop.hive.ql.metadata.Hive.getTable(Hive.java:950) 

    at org.apache.spark.sql.hive.HiveMetastoreCatalog.lookupRelation(HiveMetastoreCatalog.scala:79) 

    at org.apache.spark.sql.hive.HiveContext$$anon$1.org$apache$spark$sql$catalyst$analysis$OverrideCatalog$$super$lookupRelation(HiveContext.scala:255) 

    at org.apache.spark.sql.catalyst.analysis.OverrideCatalog$$anonfun$lookupRelation$3.apply(Catalog.scala:137) 

    at org.apache.spark.sql.catalyst.analysis.OverrideCatalog$$anonfun$lookupRelation$3.apply(Catalog.scala:137) 

    at scala.Option.getOrElse(Option.scala:120) 

    at org.apache.spark.sql.catalyst.analysis.OverrideCatalog$class.lookupRelation(Catalog.scala:137) 
    at org.apache.spark.sql.hive.HiveContext$$anon$1.lookupRelation(HiveContext.scala:255)

來源

2015-10-13 Venkidusamy K

「默認」配置文件僅用於**用戶信息** - 它們是在安裝時從JAR中的硬編碼默認值創建的。這是包含有用信息的「站點」配置文件，例如如何連接到Metastore（默認是*「只需啓動一個嵌入式Derby DB，內部沒有數據」* ...可能會解釋「表未找到消息！」） –

感謝您的回覆Samson。我有有效的條目在hive-site.xml中，應用程序通過spark提交正常運行，但通過oozie，我得到了一個沒有發現異常的表 –

@VenkidusamyK我有同樣的問題，你有沒有找到解決方案？ –