Elasticsearch和Hive一起工作

我發現Hive和Elasticsearch幾乎是等價的，只不過Elasticsearch支持近實時查詢。而且，Elasticsearch可以獨立運行以存儲和分析數據。那麼爲什麼人們在Hadoop上同時使用Hive和Elasticsearch？Elasticsearch和Hive一起工作

2014-08-31 VAK5d6

Hive和Elasticsearch是兩個非常不同的工具。

Hive是一個SQL to Hadoop Java轉換器，它使用SerDe's來使用SQL（包括elasticsearch）幾乎與任何數據源進行交互。 Hive還可以使用HDFS存儲數據。 Hive非常擅長批處理。

Elasticsearch是一個分佈式的分面搜索引擎，它是非常好的快速檢索數百萬文件中的數據。它也可以用於使用構面進行一些簡單的計算。

Hive和ES是互補的，人們使用Hive來處理數據，而ES則提供數據/見解。

2014-09-02 13:30:38 jbaptiste

你可以給一個特定的使用案例，將Hive和ES結合起來以提升對方嗎？我想知道爲什麼我們不使用ES來檢索數據，大數據？謝謝。 – VAK5d6 2014-09-03 01:12:22

想象一下，必須加入來自多個來源的數據（來自ERP的客戶，來自CRM的客戶）。通過Hadoop和Hive，我可以存儲數據，處理數據（加入），並將數據發送給ES。通過ES，我創建了一個應用程序，可以將客戶的所有銷售額彙總起來。 – jbaptiste 2014-09-10 13:31:44

ES非常適合存儲和檢索數據，但無法從兩個不同的「表格」中加入日期。 – jbaptiste 2014-09-10 13:34:29

回答