Hive Stages mapreduce

Question

我是Hive的新手。我沒有懷疑。

1. 我想知道Hive如何將查詢轉換爲MapReduce作業？

2. 我看了解釋命令給我一個階段計劃和 依賴關係。我想知道階段的細節。如何定義這些階段 ？

3. 如何控制MapReduce執行。假設我想將 Reduce連接更改爲地圖邊連接。

Answer 1

在抽象的層面，下面的事情，當你在蜂巢

1. 查詢被分析和抽象語法樹創建
2. AST然後被轉換到一個執行查詢發生MapReduce任務的DAG
3. 然後爲每個MapReduce任務創建一個Runnable。
4. 的MapReduce任務的將被再序列化爲XML文件（存儲在/tmp/hive-${user.name}/）
5. 執行引擎將反序列化這個XML文件並執行任務

我希望這回答您的問題1和2.您可以從here

瞭解更多問題3我相信如果可能的話，配置單元會自動執行映射端連接。檢查HIVE-3784
在此之前，您必須在hive查詢中提示進行地圖邊連接。看到這link

要了解更多關於連接如何在蜂巢中工作看到這link