將數據從壓縮文件加載到Hive的建議方式是什麼？

Question

我在文檔中遇到this page on CompressedStorage，它讓我有點困惑。

根據頁面，如果我的輸入文件（在AWS s3上）是壓縮的gzip文件，我應該首先加載數據，選項爲STORED AS TextFile，然後使用選項STORED AS SEQUENCEFILE創建另一個表並將數據插入到該文件中。這真的是推薦的方式嗎？

或者我可以直接將數據加載到選項STORED AS SEQUENCEFILE的表格中嗎？

如果前一種方法真的是推薦的方式，有沒有爲爲什麼它是任何進一步的解釋？

Answer 1

您必須以您的格式載入您的數據。這意味着，如果您的文件是文本文件，那麼您應該將它們加載爲TextFile，如果您的文件是序列文件，則將它們加載爲SEQUENCEFILE。

對於Hive，壓縮格式並不重要，因爲它將使用文件的擴展名作爲參考（如果壓縮編解碼器在Hadoop中配置正確），將其解壓縮。

您在頁面中分享的建議是，它比順序文件更適合壓縮文本文件。這是因爲Gzip文件不可拆分，並且如果您有一個非常大的Gzip文件，則必須僅使用一個Mapper處理所有文件，而不允許在羣集節點中平行分配工作量。

然後Hive的建議是將壓縮文本文件轉換爲序列文件以避免這種限制。這只是關於表現。

如果你的文件很小，那就沒關係了（< 1 Hadoop塊大小 - 默認爲128MB）。