2017-04-18 28 views
0

只是我們面臨的一個設計問題。如何實現鑲木地板格局的變化

我有鑲木格式的蜂巢外部表列如下:

describe payments_user 
col_name,data_type,comment 
('amount_hold', 'int', '') 
('id', 'int', '') 
('transaction_id', 'string', '') 
('recipient_id', 'string', '') 
('year', 'string', '') 
('month', 'string', '') 
('day', 'string', '') 
('', None, None) 
('# Partition Information', None, None) 
('# col_name   ', 'data_type   ', 'comment    ') 
('', None, None) 
('year', 'string', '') 
('month', 'string', '') 
('day', 'string', '') 

我們得到了我們攝取到動態分區,這是年,月,日,每天的基礎上的數據。 因此,如果要更改源端的數據並添加新列併發送批處理文件,我們如何獲取數據。我知道avro有這種能力,但爲了減少返工,這怎麼可能在鑲木地板上實現呢?

如果avro是什麼程序?

回答

相關問題