2
我有一個RDD類型的行,即RDD [Row]和avro模式對象。我需要用這個信息創建一個數據框。如何將Avro Schema對象轉換爲spark中的StructType
我需要將avro模式對象轉換爲用於創建DataFrame的StructType。
您能否請幫助。
我有一個RDD類型的行,即RDD [Row]和avro模式對象。我需要用這個信息創建一個數據框。如何將Avro Schema對象轉換爲spark中的StructType
我需要將avro模式對象轉換爲用於創建DataFrame的StructType。
您能否請幫助。
com.databricks.spark.avro有一個類來幫助您完成此
StructType requiredType = (StructType) SchemaConverters.toSqlType(AvroClass.getClassSchema()).dataType();
請通過這個具體的例子:的http://bytepadding.com/big-data/spark/read-write-parquet-files-using-spark/
可能重複http://stackoverflow.com/questions/ 33899417/Avro的圖式 - 火花,structtype –