2016-03-08 54 views
0

ORC文件是否具有Snappy Compression在條紋上可拆分? 據我所知Snappy壓縮文件不可拆分。 但我已經在博客中讀到了一個快速壓縮的文件可以在條紋分割。 這是真的嗎?ORC文件是否具有在條紋上可拆分的快速壓縮?

+0

從https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC很明顯ORC文件分爲**獨立**「條紋」和條紋頁腳*(其中包含一些元數據,即每列的最小值/最大值)*可以直接訪問,類似於「seek()」。我想知道如果壓縮是在文件級別完成的話,它是如何完成的......所以我傾向於認爲這些博客聲稱壓縮是在條帶+列級別完成的。 –

回答

0

您將不得不創建自己的InputFormat類,我不相信OrcInputFormatOrcNewInputFormat支持在條帶級別分割。