如何更改pyspark數據幀列數據類型？

Question

我正在尋找方法來

改變pyspark數據幀列的類型從

df.printSchema（）

要

謝謝，爲了您的幫助，提前。

Answer 1

您必須用新模式替換列。 ArrayType採用兩個參數elementType和containsNull。

from pyspark.sql.types import * 
from pyspark.sql.functions import udf 
x = [("a",["b","c","d","e"]),("g",["h","h","d","e"])] 
schema = StructType([StructField("key",StringType(), nullable=True), 
        StructField("values", ArrayType(StringType(), containsNull=False))]) 

df = spark.createDataFrame(x,schema = schema) 
df.printSchema() 
new_schema = ArrayType(StringType(), containsNull=True) 
udf_foo = udf(lambda x:x, new_schema) 
df.withColumn("values",udf_foo("values")).printSchema() 



root 
|-- key: string (nullable = true) 
|-- values: array (nullable = true) 
| |-- element: string (containsNull = false) 

root 
|-- key: string (nullable = true) 
|-- values: array (nullable = true) 
| |-- element: string (containsNull = true)