使用Java在Spark數據框中添加空值列

Question

我有一個數據框，並且想要添加一個類型爲String的列的空值。 如何使用Spark Java API完成。

我使用​​3210函數，但在嘗試寫入DF和saveAsTable時出錯。

Answer 1

能夠通過在具有空值的列上使用亮函數並將類型轉換爲字符串類型來解決該問題。

df.withColumn(
"col_name", functions.lit(null) 
).withColumn("col_name", 
    df.col("channel_name").cast(DataTypes.StringType) 
)