如何使用pyspark獲取parquet文件的列名及其數據類型？

Question

我在我的hadoop集羣上有一個parquet文件，我想要捕獲列名和它們的數據類型並將它寫在textfile.how中，以使用pyspark獲取列名稱及其數據類型的parquet文件。

Answer 1

你可以簡單地讀取該文件，並使用schema訪問各個fields：

sqlContext.read.parquet(path_to_parquet_file).schema.fields 

Answer 2

使用dataframe.printSchema（） - 打印出樹格式的模式。

df.printSchema（） 根 | - 年齡：整數（可爲空=真） | - 名稱：字符串（可爲空=真）

您可以重定向程序的輸出並將其捕獲到文本文件中。