使用配置單元將數據導出到csv sql

Question

如何將配置元表/ select查詢導出到csv？我已經嘗試了下面的命令。但它將輸出創建爲多個文件。有更好的方法嗎？

INSERT OVERWRITE LOCAL DIRECTORY '/mapr/mapr011/user/output/' 
        ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
SELECT fied1,field2,field3 FROM table1 

Answer 1

Hive創建許多減速器運行的文件數量。這完全是平行的。 如果你想單個文件添加order by逼單減速運行或嘗試增加每減速機配置參數字節：

SELECT fied1,field2,field3 FROM table1 order by fied1 

OR

set hive.exec.reducers.bytes.per.reducer=67108864; --increase accordingly 

你也可以嘗試合併文件：

set hive.merge.smallfiles.avgsize=500000000; 
set hive.merge.size.per.task=500000000; 
set hive.merge.mapredfiles=true; 

你也可以在從hadoop獲得它們後使用cat連接文件。