PySpark - 獲取行號的每一行一組

Question

使用pyspark中，我希望能夠一組數據框火花，排序組，然後提供一個行號。所以

Group Date 
    A  2000 
    A  2002 
    A  2007 
    B  1999 
    B  2015 

將成爲

Group Date row_num 
    A  2000  0 
    A  2002  1 
    A  2007  2 
    B  1999  0 
    B  2015  1 

Answer 1

使用窗函數：

from pyspark.sql.window import * 
from pyspark.sql.functions import row_number 

df.withColumn("row_num", row_number().over(Window.partitionBy("Group").orderBy("Date")))