Spark sql top n per group

Question

如何在spark-sql中獲得每個組的頂級n（可以說排名前10位或前3位）？

http://www.xaprb.com/blog/2006/12/07/how-to-select-the-firstleastmax-row-per-group-in-sql/提供了一般SQL的教程。但是，spark不會在where子句中實現子查詢。

Answer 1

您可以使用在Spark 1.4中添加的窗口功能特性 假設我們有一個productRevenue表，如下所示。

答案什麼是最好的銷售和第二暢銷的產品在每一個類別如下

SELECT product,category,revenue FROM 
    (SELECT product,category,revenue,dense_rank() 
     OVER (PARTITION BY category ORDER BY revenue DESC) as rank 
    FROM productRevenue) tmp 
WHERE rank <= 2 

提斯會給你想要的結果