我有一個Impala分區表,存儲爲Parquet。我可以使用Pig從該表中加載數據,並將分區添加爲列嗎?可以使用Pig來從HDFS中的Parquet表中加載分區,並將分區添加爲列?
實木複合地板表定義爲:
create table test.test_pig (
name: chararray,
id bigint
)
partitioned by (gender chararray, age int)
stored as parquet;
和豬的腳本是這樣的:
A = LOAD '/test/test_pig' USING parquet.pig.ParquetLoader AS (name: bytearray, id: long);
然而,gender
和age
丟失的情況下DUMP A
。僅顯示name
和id
。
我有嘗試:
A = LOAD '/test/test_pig' USING parquet.pig.ParquetLoader AS (name: bytearray, id: long, gender: chararray, age: int);
但我會收到錯誤,如:
錯誤org.apache.pig.tools.grunt.Grunt - 錯誤1031:不相容 模式:左是 「姓名:字節組,ID:長,性別:字節組,年齡:INT」, 右邊是 「姓名:字節組,ID:長」
希望能得到一些進階冰在這裏。謝謝!