星火斯卡拉 - 如何爲每個組創建新列，然後爆炸火花數據幀的列值

Question

我的數據幀是像下面 上校的名字指數，也就是說

Index | words 
one | {col1: a, col2: b} 
one | {col1: c, col2: d} 
two | {col1: a, col2: b} 
two | {col1: e, col2: f} 

我期待輸出像下面 輸出DF列名一，二

one | two 
{col1: a, col2: b} | {col1: a, col2: b} 
{col1: c, col2: d} | {col1: e, col2: f} 

任何人都請幫我解決這個問題。我使用的火花1.5.2版本

Answer 1

如果您確信每一個索引值，將有兩個的話，你可以用下面的：

sqlContext.sql("select Index, collect_list(words)[0],collect_list(words)[1] from yourTable group by Index").show