星火，斯卡拉 - 如何從每個組的兩個列獲得數據幀

Question

前3的值我有一個數據幀包含這些值：

Dept_id | name | salary 
1   A  10 
2   B  100 
1   D  100 
2   C  105 
1   N  103 
2   F  102 
1   K  90 
2   E  110 

我想要的結果形式如下：

Dept_id | name | salary 
1   N  103 
1   D  100 
1   K  90 
2   E  110 
2   C  105 
2   F  102 

在此先感謝:)。

Answer 1

的解決方案類似於Retrieve top n in each group of a DataFrame in pyspark這是pyspark

如果您在斯卡拉做的一樣，那麼它應該是如下

df.withColumn("rank", rank().over(Window.partitionBy("Dept_id").orderBy($"salary".desc))) 
    .filter($"rank" <= 3) 
    .drop("rank") 

我希望答案是有幫助的