Spark有條件地合併Scala中的2個數據幀

Question

我有2個數據幀，我需要將單個列有條件地合併在一起。每當id列中有一個空值時，我需要引用另一個DF來從那裏獲取值。

df1.show() 
+-----+---+----+-----+ 
|group|cat| id|value| 
+-----+---+----+-----+ 
| X| A| 1| 20.0| 
| X| A| 2| 20.0| 
| X| A|null| 55.0| 
| X| B| 1| 20.0| 
| X| B|null| 55.0| 
| Y| A| 3| 20.0| 
| Y| A| 4| 20.0| 
| Y| A|null| 55.0| 
| Y| B| 4| 20.0| 
| Y| B|null| 55.0| 
+-----+---+----+-----+ 
df2.show() 
+---+-------+ 
|cat|  id| 
+---+-------+ 
| A|1 2 3 4| 
| B| 1 4| 
+---+-------+ 

用我的最終期望的結果是：

+-----+---+-------+-----+ 
|group|cat|  id|value| 
+-----+---+-------+-----+ 
| X| A|  1| 20.0| 
| X| A|  2| 20.0| 
| X| A|1 2 3 4| 55.0| 
| X| B|  1| 20.0| 
| X| B| 1 4| 55.0| 
| Y| A|  3| 20.0| 
| Y| A|  4| 20.0| 
| Y| A|1 2 3 4| 55.0| 
| Y| B|  4| 20.0| 
| Y| B| 1 4| 55.0| 
+-----+---+-------+-----+ 

我已經試過類似這裏另一個答案（Conditional Join in Spark DataFrame）

val joinCondition = when($"a.id".isNull && $"a.cat" === "b.cat", $"a.id"===$"b.id") 
    .otherwise($"a.id") 

df1.as('a).join(df2.as('b), joinCondition).show 

但總是與空數據幀結束的東西。

關於正確連接條件的任何想法？

Answer 1

您可以加入兩個數據幀，然後用id從df2使用​​3210功能更新id：

(df1.join(df2.withColumnRenamed("id", "id2"), Seq("cat"), "left") 
    .withColumn("id", coalesce($"id", $"id2")).drop("id2").show) 

+---+-----+-------+-----+ 
|cat|group|  id|value| 
+---+-----+-------+-----+ 
| A| X|  1| 20.0| 
| A| X|  2| 20.0| 
| A| X|1 2 3 4| 55.0| 
| B| X|  1| 20.0| 
| B| X| 1 4| 55.0| 
| A| Y|  3| 20.0| 
| A| Y|  4| 20.0| 
| A| Y|1 2 3 4| 55.0| 
| B| Y|  4| 20.0| 
| B| Y| 1 4| 55.0| 
+---+-----+-------+-----+