以ORCFile格式創建輸出

Question

我需要以ORCFile格式創建輸出。根據此頁面（http://hortonworks.com/blog/orcfile-in-hdp-2-better-compression-better-performance/），它是最好的。

有問題？

1）我應該使用什麼編解碼器來創建ORCFile格式的文件？ 2）通過使用-text選項以這種格式可讀創建的文件（例如

hadoop的FS -cat -text /tmp/a.orc

3）任何其它指針？使用這種格式爲時過早？優點&缺點？

謝謝。

Answer 1

要在Hive中的ORCFile中創建數據，只需在表定義的末尾使用短語「stored as orc」並加載數據即可。您也可以使用Sqoop使用HCatalog導入選項直接導入ORC。

還有一個名爲orcfilingump的工具，可以幫助您分析存儲爲ORC的數據，併爲您提供列，類型和統計信息的列表。

您不能使用-cat直接讀取ORC，但可以輕鬆地將ORC數據導出到CSV文件。

Answer 2

1）我應該使用什麼編解碼器來創建ORCFile格式的文件？

那麼壓縮的折衷就是性能。如果數據大小不是瓶頸，那麼最好不要使用任何壓縮，因爲它會給你最大的性能。

它的排列順序是 NONE - > SNAPPY - > ZLIB（在性能和尺寸方面有所降低）