pyspark行號數據幀

Question

我有一個數據幀，列時間，a，b，c，d，val。 我想創建一個數據框，包含額外的列，它將包含每個組內的行的行號，其中a，b，c，d是組密鑰。

我試圖與火花SQL中，通過定義一個窗口功能，特別是在SQL它看起來就像這樣：

select time, a,b,c,d,val, row_number() over(partition by a,b,c,d order by  time) as rn from table 
group by a,b,c,d,val 

我想這樣做對數據幀itslef，而無需使用sparksql。

謝謝

Answer 1

我不知道python api太多了，但我會試試看。你可以嘗試這樣的：

from pyspark.sql import functions as F 

df.withColumn("row_number", F.row_number().over(Window.partitionBy("a","b","c","d").orderBy("time"))).show()