在DataFrame.withColumn中，如何使用列的值作爲第二個參數的條件？

Question

如果我有一個名爲DF是數據框的樣子：

+---+---+ 
| a1+ a2| 
+---+---+ 
|foo|bar| 
|N/A|baz| 
+---+---+ 

我會期望從：

val df2 = df.withColumn("a1", when($"a1" == "N/A", $"a2)) 

是DF2會是什麼樣子：

+---+---+ 
| a1+ a2| 
+---+---+ 
|foo|bar| 
|baz|baz| 
+---+---+ 

而是我得到：

error: type mismatch; 
found : Boolean 
required: org.apache.spark.sql.Column 

所以這聽起來像我需要一個Column的方法，它在DataFrame的withColumn方法中產生它的值。

任何這樣的事情，或其他方法來有條件地用當前列的值填充withColumn的替換參數？

Answer 1

你需要===而不是==：

val df2 = df.withColumn("a1", when($"a1" === "N/A", $"a2").otherwise($"a1")) 
// df2: org.apache.spark.sql.DataFrame = [a1: string, a2: string] 

df2.show 
+---+---+ 
| a1| a2| 
+---+---+ 
|foo|bar| 
|baz|baz| 
+---+---+ 

Answer 2

您需要使用===不==：

scala> val df = Seq(("foo", "bar"), ("N/A", "baz")).toDF("a1", "a2") 
df: org.apache.spark.sql.DataFrame = [a1: string, a2: string] 

scala> df.show 
+---+---+ 
| a1| a2| 
+---+---+ 
|foo|bar| 
|N/A|baz| 
+---+---+ 

scala> df.withColumn("a1", when($"a1" === "N/A", $"a2").otherwise($"a1")).show 
+---+---+ 
| a1| a2| 
+---+---+ 
|foo|bar| 
|baz|baz| 
+---+---+