0
默認情況下,spark會將「org.apache.spark.sql.parquet.row.metadata」寫入parquet文件頁腳。但是,如果我想要將一些隨機元數據(如版本= 123)寫入由spark生成的parquet文件,該怎麼辦?如何在使用火花寫入實木複合地板文件時添加額外的元數據
這不起作用:
df.write().option("version","123").parquet("somefile.parquet");
而且我使用的火花1.6.2版
http://stackoverflow.com/questions/32628845/is-there-a-way-to-add-extra-元數據火花數據框 這提供了你如何可能做到這一點,但沒有一個內置的方式(據我所知:() –