如何避免爲Hive查詢生成空的.deflate文件？

Question

當我運行一個Hive查詢時，會生成大量空的.deflate文件（它們實際上是大約8個字節，我認爲這是.deflate文件的最小大小）。我懷疑這是因爲查詢需要大量的reducer。我想知道是否有辦法避免生成這些空的.deflate文件？

由於提前，

林

Answer 1

.deflate是默認compression codec

有跡象表明，可用於減少磁盤空間的大小Hive壓縮設置： Hive用於其queries。

當屬性hive.exec.compress.output=true，Hive將使用codec由mapred.map.output.compression.codec屬性配置在HDFS壓縮存儲。這些屬性可以在hive.site.xml或Hive-CLI中設置。

爲了使從Hive-CLI輸出壓縮：

hive> set hive.exec.compress.output=true;

要使用hive.site.xml

<property> 
<name>hive.exec.compress.output</name> 
<value>true</value> 
</property> 

使能輸出壓縮所以禁用.deflate文件：

集hive.exec.compress.output=false;