如何創建小文件同時插入數據使用TEZ

Question

我已經試過幾個選擇，但我只看到配置設置合併小文件能像下面大文件蜂巢ORC表，但反之versa.I正在尋找創建的文件大小150kb。

set hive.merge.tezfiles=true; 
set hive.merge.smallfiles.avgsize=128000; 
set hive.merge.size.per.task=128000; 

Answer 1

您可以嘗試設置ORC塊大小hive.exec.orc.default.block.size。也跳過小文件合併，您將需要禁用標誌。 set hive.merge.tezfiles=false;您可以參考Hortonworks community thread link的詳細信息，文件是如何生成的。