蜂巢。檢查現有ORC存儲的條帶大小

Question

我有兩個腳本，它們解析來自原始日誌的數據並將其寫入HIVE的ORC表中。一個腳本創建更多列，另一個腳本更少。這兩個表由date字段分隔。

因此，我有不同大小的文件的ORC表。 包含大量列的表由許多小文件組成（每個分區內每個文件大約4MB），而少列的表由少量大文件（每個分區內每個文件大約250 MB）組成。

我想這是因爲ORC中的stripe.size設置發生的。但我不知道如何檢查現有表格的條紋大小。像「show create」和「describe」這樣的命令不會顯示任何自定義設置，這意味着表的條帶大小應該等於256 MB。

我正在尋找任何建議來檢查現有的ORC表stripe.size。 或解釋ORC表內的文件大小如何取決於表中的數據。

P.s.稍後當我使用Map Reduce從該表中讀取時，以及對於具有大文件的表中的減少器數量很少。

Answer 1

嘗試Hive ORC文件轉儲實用程序：ORC File Dump Utility。