在HiveQL中使用RANK，動態限制

Question

試圖通過rank函數在hive sql中執行動態限制。

問題： 我想使用表A的限制來創建輸出。下面的例子。

表A：

ID | Limit 
------------ 
123 | 1 
456 | 3 
789 | 2 

表B：

ID | User 
------- 
123 | ABC 
123 | DEF 
123 | GHI 
456 | JKL 
456 | MNO 
789 | PQR 
789 | RST 

OUTPUT：

ID | User 
---------- 
123 | ABC 
456 | JKL 
456 | MNO 
789 | PQR 
789 | RST 

可惜你不能d o hive sql中的動態限制（據我所知）。所以我試圖使用排名。我當前的查詢看起來是這樣的：

SELECT c.id, c.users, c.rnk 
FROM (
    SELECT b.id, b.user, a.limit, rank() over (ORDER BY b.id DESC) as rnk 
    FROM a JOIN b 
    ON a.id = b.id 
    ) c 
WHERE rnk < c.limit; 

目前我得到的錯誤：

ParseException line 3:9 cannot recognize input near 'rank' '(' ')' in from source 0 

任何想法，爲什麼？或者更好的方法？

謝謝！

Answer 1

SELECT c.id, c.users, c.rnk 
FROM (
    SELECT b.id, b.user, a.limit, row_number() over (PARTITION by b.id ORDER BY b.id) as rn 
    FROM a JOIN b 
    ON a.id = b.id 
    ) c 
WHERE rn <= c.limit; 

在上面的查詢row_number()將數行後加入，where子句中的過濾器將工作極限。 ORDER BY對於沒有任何偏好的簡單限制行來說不是必需的，請將您的規則替換爲ORDER BY，例如用戶訂購。