配置單元性能聯盟全部

Question

我有多個文件，通過單個文件使用蜂巢union all，現在union all查詢加入超過10個蜂巢表，並且非常緩慢。每個個人union all查詢也有一個或多個連接條件。還需要

我的預期最終結果以由主鍵進行分組，e.g：

table 1 

key1|val1|val2|.. 

table 2 

key1|val10|val11|.. 

insert overwrite <temptable> 
select key, output_string from 
(select key, concat (col1,col2,..) from table 1 where <join conditions> 
union all 
select key, concat(col10,col11,..) from table 2 where <join conditions> 
.. 
) 
cluster by key; 

union all將結合以上兩個表中，我使用簇通過鍵，以產生期望的結果。蜂巢的表現非常緩慢，其他的選擇是什麼？

Answer 1

注意此選項：

hive.optimize.union.remove 
Default Value: false 
Added In: Hive 0.10.0 with HIVE-3276 

是否刪除工會和工會推動和文件水槽上方工會之間的運營商。這可以避免通過聯合對輸出進行額外掃描。

這對於聯合查詢是獨立有用的，並且在hive.optimize.skewjoin.compiletime設置爲true時特別有用，因爲插入了一個額外聯合。

如果hive.merge.mapfiles或hive.merge.mapredfiles中的任何一個設置爲true，則會觸發合併。

如果用戶已設置hive.merge.mapfiles到true和hive.merge.mapredfiles到false的想法是，減速器的數量少，所以文件的數量反正小。

但是，通過這種優化，我們可能會大幅增加文件數量。所以，我們積極合併。