2017-02-15 43 views
0

鑑於以下當Spark讀取架構不同的多個parquet文件時會發生什麼?

scala> sqlContext.read.parquet("/test-data/foo.parquet").printSchema() 
root 
|-- key: string (nullable = true) 
|-- value: integer (nullable = true) 


scala> sqlContext.read.parquet("/test-data/bar.parquet").printSchema() 
root 
|-- _1: string (nullable = true) 
|-- _2: integer (nullable = true) 

... 將它讀取兩個文件如果你下面?

scala> sqlContext.read.parquet("/test-data/*.parquet").show() 

請注意,數據類型是相同的;只有列名是不同的。

回答

1

如果你設置option("mergeSchema", "true") Spark會自動合併模式

相關問題