2014-01-18 70 views
2

根據我的理解,HIVEHBASE都使用HDFS來存儲數據。當我們integrate HIVE and HBASE ----數據如何在Hive-HBase集成中的Hive和Hbase之間移動或反映。

數據如何在它們之間移動?還是像數據不會移動,它只是反映了?我有興趣知道兩種情況。

One: table_1有數據及其在HIVE中,表2有數據及其在HBASE中。現在整合發生了(這種情況是否可能?)。

數據如何移動?從HBASE到HIVE還是HIVE到HBASE?

Two:設置爲scenario One。現在爲新插入的記錄。他們會去哪裏?

我是HBASE的新手,有興趣瞭解詳細的數據移動和示例。

如果需要,請改善問題。提前致謝。

回答

2

HDFS是一個分佈式文件系統,非常適合存儲大文件,但不提供快速的單個記錄查找。

Hive只是一個類似SQL的抽象概念,用於與HDFS中的數據進行交互。

HBase也建立在HDFS之上。它爲大型表提供快速讀取和寫入。 HBase通過將數據存儲在HDFS上的索引「StoreFiles」中進行高速查找來實現此目的。

所以在這兩種情況下,數據都駐留在HDFS中。那就是「他們去哪裏」。

至於它們如何工作的細節,這是一個巨大的主題,您需要熟悉諸如Hive Metastore和存儲處理程序以及HBase API等主題。我相信這個教程(Part 1Part 2)可以幫助你。

相關問題