我將我的配置單元表以HDFS格式存儲爲Parquet格式。我可以將此位置的鑲木地板文件轉換爲序列文件格式並在其上構建配置表格嗎? 是否有任何程序可以執行此轉換?將Parquet文件格式轉換爲序列文件格式
回答
創建新的序列文件表,並使用插入選擇重新加載數據:
insert into sequence_table
select * from parquet_table;
讓我試試看。謝謝。 –
如果我的序列表按年,月,日分區,那麼我如何從我的鑲木地板表中插入由年,月,日劃分的所有記錄,因爲它是我的序列表中的記錄? –
創建分區表,'插入覆蓋表sequence_table分區(年,月,日)從實木複合地板表中選擇,分區鍵應該是最後一個,通過分區鍵添加分配來減少壓縮機的壓力。如果目標表具有完全相同的結構,則可以選擇*。 – leftjoin
hive> create table src (i int) stored as parquet;
OK
Time taken: 0.427 seconds
hive> create table trg stored as sequencefile as select * from src;
對於@AndyReddy
create table src (i int)
partitioned by (year int,month tinyint,day tinyint)
stored as parquet
;
create table trg (i int)
partitioned by (year int,month tinyint,day tinyint)
stored as sequencefile
;
set hive.exec.dynamic.partition.mode=nonstrict
;
insert into trg partition(year,month,day)
select * from src
;
如果我的序列表按年份,月份,日期分區,那麼如何插入我的鑲木地板表中按年,月,日分區的所有記錄,因爲它是我的序列表中的數據?只要插入? –
安迪,看到更新的答案。 –
- 1. 將文本文件轉換爲Spark Java中的序列格式
- 2. 將文本文件的格式轉換爲其他格式
- 3. 將.msg文件轉換爲.xps格式?
- 4. 將PowerPoint文件轉換爲ODP格式?
- 5. 將.log文件轉換爲CSV格式
- 6. 將文件路徑從長格式轉換爲短格式
- 7. 將GenBank格式文件轉換爲FASTA格式
- 8. 如何將.npz格式轉換爲.py格式的.csv文件?
- 9. Google BigQuery支持Parquet文件格式嗎?
- 10. 如何將兩列的文本文件轉換爲fasta格式
- 11. 文件格式轉換
- 12. 如何將.arff格式的文件轉換爲.txt文件格式?
- 13. 如何將表格從紅移轉換爲Parquet格式?然後
- 14. 如何將.txt文件轉換爲Hadoop的序列文件格式
- 15. 文件:將兩列轉換爲格式爲php的數組
- 16. 如何將點雲.pts文件轉換爲.pcd文件格式?
- 17. 將doc文件轉換爲docx文件格式
- 18. asp.net itextsharp將文件格式文件轉換爲PDF
- 19. 將Microsoft XML文件格式轉換爲Excel文件
- 20. 將eclipse格式化文件轉換爲checkstyle文件
- 21. 將3列文件轉換爲矩陣格式
- 22. 轉換文件格式(PDF格式爲TIFF?)
- 23. 配置單元中的序列文件格式和parquet文件格式是什麼?
- 24. 將文本文件轉換爲VCF格式時出錯
- 25. 如何將文本文件轉換爲.arff格式(weka)
- 26. Mahout:將一個大型文本文件轉換爲SequenceFile格式
- 27. 將文本文件轉換爲ANSI格式
- 28. 使用Python將文本文件轉換爲JSON格式
- 29. Python - 將文件格式化爲列表
- 30. 轉換.string文件格式轉化成PHP數組格式
爲什麼........? ... –
@DuduMarkovitz我公司的其他一些團隊希望將數據作爲序列文件格式。 –