我們可以使用文本文件格式的Hive表與Snappy壓縮？

Question

我在HDFS中有一個配置單元外部表，我試圖在它上面創建一個配置單元管理表。我使用的文本文件格式與快速壓縮，但我想知道它如何幫助表。

CREATE TABLE standard_cd 
(
    last_update_dttm   TIMESTAMP, 
    last_operation_type  CHAR (1) , 
    source_commit_dttm TIMESTAMP, 
    transaction_dttm   TIMESTAMP , 
    transaction_type CHAR (1)   
) 

PARTITIONED BY (process_dt DATE) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '|' 
STORED AS TEXTFILE 
TBLPROPERTIES ("orc.compress" = "SNAPPY"); 

讓我知道如果在這種格式創建任何問題。

Answer 1

因爲它們在創建時沒有問題。在屬性 但區別：

表創建並作爲TEXTFILE存儲：

表創建並存儲爲ORC：

雖然這兩個表的大小是相同的加載一些數據後。

還檢查有關ORC file format