Scala：DataFrame.join仍在創建重複項

Question

我有兩個scala數據框。儘管下面給出here的例子中，我仍然得到重複

+----+----+----+-------+ 
    | b1| b2| b3|$$RowId| 
    +----+----+----+-------+ 
    |a1-1|a2-1|a3-1|  1| 
    |a1-2|a2-2|a3-2|  2| 
    |a1-3|a2-3|a3-3|  3| 
    |null|null|null|  8| 
    |null|null|null|  9| 
    |null|null|null|  10| 
    +----+----+----+-------+ 

    +-------+-----+-----+-----+ 
    |$$RowId| b1| b2| b3| 
    +-------+-----+-----+-----+ 
    |  1| null| null| null| 
    |  2| null| null| null| 
    |  3| null| null| null| 
    |  8| b1-8| b2-8|b3-15| 
    |  9| b1-9| b2-9|b3-17| 
    |  10|b1-10|b2-10|b3-19| 
    +-------+-----+-----+-----+ 

我希望將數據合併到一個數據幀。我用加入如下：

val finalDF = colsToShiftRenamedDF.join(colsToKeepDF, Seq("$$RowId")) 

結果如下數據框

+-------+----+----+----+-----+-----+-----+ 
    |$$RowId| b1| b2| b3| b1| b2| b3| 
    +-------+----+----+----+-----+-----+-----+ 
    |  1|a1-1|a2-1|a3-1| null| null| null| 
    |  2|a1-2|a2-2|a3-2| null| null| null| 
    |  3|a1-3|a2-3|a3-3| null| null| null| 
    |  8|null|null|null| b1-8| b2-8|b3-15| 
    |  9|null|null|null| b1-9| b2-9|b3-17| 
    |  10|null|null|null|b1-10|b2-10|b3-19| 
    +-------+----+----+----+-----+-----+-----+ 

任何意見讚賞

Answer 1

你是加盟肯定會給你每table的columns，即使他們的方式null。 如果您不需要重複項，您應該添加一些附加步驟。

import org.apache.spark.sql.functions._ 
val finalDF = colsToShiftRenamedDF.as("t1").join(colsToKeepDF.as("t2"), Seq("$$RowId")) 
    .select(col("$$RowId"), 
    when(col("t1.b1").isNull || col("t1.b1") === "null", col("t2.b1")).otherwise(col("t1.b1")).as("b1"), 
    when(col("t1.b2").isNull || col("t1.b2") === "null", col("t2.b2")).otherwise(col("t1.b2")).as("b2"), 
    when(col("t1.b3").isNull || col("t1.b3") === "null", col("t2.b3")).otherwise(col("t1.b3")).as("b3")) 

，這將給你輸出dataframe作爲

+-------+-----+-----+-----+ 
|$$RowId|b1 |b2 |b3 | 
+-------+-----+-----+-----+ 
|1  |a1-1 |a2-1 |a3-1 | 
|2  |a1-2 |a2-2 |a3-2 | 
|3  |a1-3 |a2-3 |a3-3 | 
|8  |b1-8 |b2-8 |b3-15| 
|9  |b1-9 |b2-9 |b3-17| 
|10  |b1-10|b2-10|b3-19| 
+-------+-----+-----+-----+ 

我希望答案是有幫助的