如何配置Hive使用Spark？

我在Spark上使用Hive時出現問題。我在CentOS 6.5上通過Ambari安裝了單節點HDP 2.1（Hadoop 2.4）。我試圖在星火運行蜂巢，所以我用這個指令：如何配置Hive使用Spark？

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

我已經下載了「預建Hadoop的2.4」星火-version，這是我的Apache官方星火網站上找到。於是我開始了主用：

./spark-class org.apache.spark.deploy.master.Master

然後與工人：

./spark-class org.apache.spark.deploy.worker.Worker spark://hadoop.hortonworks:7077

然後，我用這樣的提示開始蜂巢：

hive –-auxpath /SharedFiles/spark-1.0.1-bin-hadoop2.4/lib/spark-assembly-1.1.0-hadoop2.4.0.jar

然後，根據指示，我不得不通過此提示更改配置單元的執行引擎以進行火花處理：

set hive.execution.engine=spark;,

，其結果是：

Query returned non-zero code: 1, cause: 'SET hive.execution.engine=spark' FAILED in validation : Invalid value.. expects one of [mr, tez].

所以，如果我嘗試推出一個簡單的蜂巢查詢，我可以在我的hadoop.hortonwork看到：8088的推出作業是MapReduce的工作。

現在我的問題：如何更改Hive的執行引擎，使Hive使用Spark而不是MapReduce？還有其他方法可以改變它嗎？（我已經嘗試通過ambari和hive-site.xml進行更改）

來源

2014-09-24 Baeumla

可能的話，請確認您遵循在「配置蜂巢」的說明 - 尤其是第1項？（基本上，你需要去下載「Hive on Spark」開發分支並自己構建它。）這是最新鮮的東西，普通的Hive現在還不支持它。 – 2014-09-24 15:18:38

Hive-on-Spark仍然是一項正在進行的工作......如果你想用它做任何嚴肅的事情，那麼我現在強烈勸阻你。 – vanza 2014-09-24 23:14:58

**感謝您的回答**。也許這是其他一些關於Spark上的Hive的錯誤消息的原因。我不小心跳過了第1步。我想我會在服務器上安裝一個新的Hadoop，而不使用Hortonworks或Cloudera。 – Baeumla 2014-09-25 06:29:02

變化....

</property> 
    <name>hive.execution.engine</name> 
    <value>spark</value> 
    <description> 
    Chooses execution engine. 
    </description> 
</property>

來源

2015-03-11 13:43:06

應該是： hive.execution。發動機火花公司選擇執行引擎。 – Shanemeister 2017-08-12 19:52:40

set hive.execution.engine=spark;

試試這個命令它會正常運行。在像這樣的配置單元配置屬性

來源

2015-02-24 05:49:33

在蜂房

> CONF>蜂房-site.xml中設置hive.execution.engine的值火花。

</property> 
    <name>hive.execution.engine</name> 
    <value>spark</value> 
    </property>

來源

2015-06-04 16:06:04 user4342532

set hive.execution.engine = spark;這是在Hive 1.1及更高版本中引入的。我認爲你的配置單元版本比Hive 1.1早。

資源：https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

來源

2016-05-20 10:34:18

如何配置Hive使用Spark？

回答

相關問題