創建表時HIVE中的文件格式

Question

我正在創建Hive外部表。文件格式是文本文件。但查詢需要很長時間才能執行。

有什麼文件格式可以用來快速訪問數據？

Answer 1

ORC是迄今爲止用於更快地訪問HIVE數據的最佳文件格式。請注意，您必須確保按照您搜索的列的排序順序加載數據，以加快檢索速度。這會使加載過程變慢。

我會建議使用分區與ORC（ZLIB壓縮），因爲這是我最近測試並看到良好的性能改進。

上你可以參考ORC文件格式的詳細信息（有很多不錯的文章，以及） https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC

Answer 2

其存儲爲ORC格式和使用TEZ執行引擎 set hive.execution.engine=tez;