我正在使用spark 1.4，並嘗試使用壓縮快速存儲爲orcfile，但它保存爲zlib

Question

這裏是我的代碼： val df = hiveContext.write.format（「orc」）。options（「orc.compression」， 「SNAPPY」）。保存（ 「xyz」）

但文件保存爲ZLIB。

請幫忙。

Answer 1

你可以嘗試添加額外的conf「spark.io.compression.codec =活潑的」火花殼/火花提交：

spark-shell --conf spark.io.compression.codec=snappy #rest of your command.. 

此外，用於寫入ORC格式（假設你是在火花> = 1.5），可以使用：

myDf.orc("/some/path") 

的 「獸人」 的方法是完全一樣做 '.format（ 「獸人」）保存（ 「/一些/路徑」）。'。