2016-10-31 66 views
0

我想將df保存爲分區拼塊,因爲記錄插入記錄需要時間。任何人都可以幫助我如何保存它並指向配置單元表。保存分區拼塊

+0

Actualy我一直收到數據增量,我將使用動態分區,而不是插入我想直接保存的數據,因爲parquet被一列分區。 –

回答

0
df.write.parquet("/parquet/file/path") 

然後,您可以創建指向鑲木地板文件位置的Hive external table

+0

實際上,它不斷地獲取數據,我將使用動態分區,而不是直接插入我想要保存的數據,因爲拼花地板被一列分區。 –

+0

@HEMANTHKUMAR:你的意思是由一列分隔的木地板?你的意思是Hive表分區? – Shankar

+0

是的,我已經劃分了配置單元表 –