在Spark DataFrame中的na.fill Scala

我使用的是Spark/Scala，我想根據列的類型使用默認值填充DataFrame中的空值。在Spark DataFrame中的na.fill Scala

即字符串列 - > 「串」，數值列 - > 111，布爾列 - >假等

目前DF.na.functions API na.fill
fill(valueMap: Map[String, Any])提供像

df.na.fill(Map(
    "A" -> "unknown", 
    "B" -> 1.0 
))

這需要知道列名稱以及列的類型。

fill(value: String, cols: Seq[String])

這只是字符串/ double類型，甚至沒有布爾。

有沒有一個聰明的方法來做到這一點？

來源

2016-08-30 Vijeth Hegde

您可能需要使用'isInstanceOf'檢查輸入的數據類型和更換合適。 – Shankar

請提供一個可重現的例子。 – mtoto

感謝您的幫助，我使用模式匹配來查找類型，nad創建了一個映射並使用它 –

看看dtypes: Array[(String, String)]。您可以使用此方法的輸出，以產生Map爲fill，例如：

val typeMap = df.dtypes.map(column => 
    column._2 match { 
     case "IntegerType" => (column._1 -> 0) 
     case "StringType" => (column._1 -> "") 
     case "DoubleType" => (column._1 -> 0.0) 
    }).toMap

來源

2016-08-31 18:28:40

感謝您的幫助，我使用模式匹配來查找類型， nad創建了一張地圖，並用它 –

你能舉個例子說明你是如何做到這一點的？ – ashK

這個答案應該被接受IMO –

在Spark DataFrame中的na.fill Scala

回答

相關問題