如何爲EXPLAIN中的不同配置單元設置資源？

Question

有沒有什麼辦法可以根據EXPLAIN查詢中的階段提供資源。

Answer 1

據我所知，您可以設置的唯一的東西是：

• 數R的/精確計數set mapred.reduce.tasks=**（只要它makes sense）
• R /最大計數的數量set hive.exec.reducers.max=** +暗示的計算使用M容器實際數目set hive.exec.reducers.bytes.per.reducer=*****
• 資源（使用MR時）/ set mapreduce.map.memory.mb=** + set mapreduce.map.java.opts=-XMX** <〜80總爲堆的％>
每ř容器3210個
• 資源（使用MR時）/ set mapreduce.reduce.memory.mb=** + set mapreduce.reduce.java.opts=-XMX** <〜80總爲堆的％>每個集裝箱
• 資源（使用TEZ時）/ set hive.tez.container.size=** + set hive.tez.java.opts=-XMX** <〜80總爲堆的％>

請注意，如果您的查詢顯示了3層地圖的步驟和2減少操作步驟，該設置將應用到所有步驟 ...

參考：Hive documentation和that post for instance