HAWQ表大小估計

Question

我有一個問題圍繞存儲大小計算/估計的表加載到HAWQ？

我在HIVE一個30MB表，我試圖使用PXF成HAWQ，例如加載： 創建表t2表空間的數據作爲SELECT * FROM hcatalog.default.afs_trvn_mktscn_population;

HAWQ中的表佔用369MB的存儲空間？無論我擁有多少個HAWQ細分以及HAWQ DFS.replica因子或HDFS複製因子是什麼？我的情況下，即使有4個HAWQ段或1個HAWQ段，加載後的表大小爲369MB。

我可以理解，最小塊大小是128MB，所以即使30MB將使用128MB的最小值，但爲什麼> 300MB？

你能分享一些這方面的信息嗎？

Answer 1

您的Hive表格可能存儲爲具有Snappy壓縮的ORC，而您的HAWQ表格甚至未被壓縮。你應該在你的HAWQ表中使用這個：

with (appendonly=true, orientation=parquet, compresstype=snappy)