我是nosql解決方案中的新成員,並且希望與Hive一起玩。但安裝hdfs/hadoop需要很多資源和時間(也許沒有經驗,但我沒有時間待辦事項)。如何在沒有hadoop的情況下使用Hive
是否有一些解決方案可以在沒有hdfs/hadoop的本地機器上安裝和使用Hive?
我是nosql解決方案中的新成員,並且希望與Hive一起玩。但安裝hdfs/hadoop需要很多資源和時間(也許沒有經驗,但我沒有時間待辦事項)。如何在沒有hadoop的情況下使用Hive
是否有一些解決方案可以在沒有hdfs/hadoop的本地機器上安裝和使用Hive?
是的,你可以在沒有hadoop的情況下運行配置單元 1.在你的本地系統 2.將默認fs設置爲文件:/// 比您可以在本地模式下運行配置單元而不安裝hadoop安裝程序
在蜂房的site.xml
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<!-- this should eventually be deprecated since the metastore should supply this -->
<name>hive.metastore.warehouse.dir</name>
<value>file:///tmp</value>
<description></description>
</property>
<property>
<name>fs.default.name</name>
<value>file:///tmp</value>
</property>
</configuration>
更新這個答案是外的日期:與Hive on Spark
不再需要有hdfs
支持。
Hive需要hdfs和map/reduce,因此您將需要它們。另一個答案在推薦簡單 /預先配置的方式來獲取您的所有組件的意義上具有一些優點。
但它的要點是:配置單元需要hadoop和m/r所以在某種程度上你需要處理它。
錯誤,Hive可以在沒有HDFS和map/reduce的情況下運行,有一種稱爲「本地」的模式;此外,Hive可以對抗Tez引擎而不是map/reduce。 –
@ThomasDecaux檢查你的日期:這是寫在2014年1月。它已經*不再是這種情況*,這種限制已經到位。這使得你的陳述誤導而沒有澄清。 – javadba
是的你是對的,這是一直很難與SO答案 –
如果你只是在談論作出決定,你可以只使用一個預配置的虛擬機作爲@Maltram建議之前經歷蜂巢(Hortonworks,Cloudera公司,IBM和其他所有提供這些VM)
你應該注意以下幾點如果沒有Hadoop和HDFS,你將無法在生產環境中使用Hive,所以如果對你有問題,你應該考慮替代Hive
你不能,只要下載蜂巢,然後運行:
./bin/hiveserver2
Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set or hadoop must be in the path
Hadoop是像一個核心,蜂巢需要從它的一些庫。
你的意思是HDFS? Hadoop是一個生態系統,Hive是Hadoop的一部分。 –