星火拆分列值成多行

Question

我的問題是我有一個表是這樣的：

------------------------ 
A B C 
------------------------ 
a1 b2 c1|c2|c3|c4 

C1 | C2 | C3 | C4是分開的一個值|。

我的最終結果應該是這樣的：

--------- 
A B C 
--------- 
a1 b1 c1 
a1 b1 c2 
a1 b1 c3 
a1 b1 c4 

我該怎麼辦呢？

由於用放電功能

Answer 1

這是你能做什麼，split串用管和explode數據

import org.apache.spark.sql.functions._ 
import spark.implicits._ 

val df = Seq(("a1", "b1", "c1|c2|c3|c4")).toDF("A", "B", "C") 

df.withColumn("C", explode(split($"C", "\\|"))).show 

輸出：

+---+---+---+ 
| A| B| C| 
+---+---+---+ 
| a1| b1| c1| 
| a1| b1| c2| 
| a1| b1| c3| 
| a1| b1| c4| 
+---+---+---+ 

希望這有助於！