GroupByKey和創造價值的名單pyspark SQL數據幀

Question

所以我有一個火花數據框，看起來像：

a | b | c 
5 | 2 | 1 
5 | 4 | 3 
2 | 4 | 2 
2 | 3 | 7 

我想組由列，創建列B值的列表，忘記c。輸出數據框應該是：

a | b_list 
5 | (2,4) 
2 | (4,3) 

我該如何去做這與一個pyspark sql數據框？

謝謝！ :)

Answer 1

以下是獲取該數據框的步驟。

>>> from pyspark.sql import functions as F 
>>> 
>>> d = [{'a': 5, 'b': 2, 'c':1}, {'a': 5, 'b': 4, 'c':3}, {'a': 2, 'b': 4, 'c':2}, {'a': 2, 'b': 3,'c':7}] 
>>> df = spark.createDataFrame(d) 
>>> df.show() 
+---+---+---+ 
| a| b| c| 
+---+---+---+ 
| 5| 2| 1| 
| 5| 4| 3| 
| 2| 4| 2| 
| 2| 3| 7| 
+---+---+---+ 

>>> df1 = df.groupBy('a').agg(F.collect_list("b")) 
>>> df1.show() 
+---+---------------+ 
| a|collect_list(b)| 
+---+---------------+ 
| 5|   [2, 4]| 
| 2|   [4, 3]| 
+---+---------------+