如何使用標準查詢或使用UDF標記一行並將其特定值存儲在Hive中？

Question

我需要寫在蜂巢查詢或定義需要做如下的功能：

數據集：

Student || Time || ComuputerPool 
------------------------------------- 
    A  || 9:15AM || Pool1.Machine2 
------------------------------------- 
    A  || 9:45AM || Pool1.Machine7 
------------------------------------- 
    A  || 10:15AM|| Pool1.Machine9 
------------------------------------- 
    A  || 11:00AM|| Pool2.Machine2 
------------------------------------- 
    A  || 12:05 || Pool2.Machine3 
------------------------------------- 
    A  || 12:40 || Pool3.Machine5 
------------------------------------- 
    A  || 13:10 || Pool1.Machine3 
------------------------------------- 
    A  || 13:50 || Pool1.Machine10 
------------------------------------- 
    B .......................... 

所以現在查詢應該找出一個特定的學生有多久的花通過計算他第一次在游泳池中使用機器和第一次在另一個游泳池中使用機器時的差異來計算特定的計算機池。所以這個例子他花的時間差別是： 11:00 AM - 9:15 AM = 1Hour45Mins

我的問題在於如何在一個存儲時間值中標記第一次使用並稍後使用它時我找到下一個池數據。

Answer 1

Hive支持row_number()，所以你可以使用一個技巧來分組順序值。兩行號之間的差別定義了一個組，然後可以將其用於聚合。結果查詢是這樣的：

select student, grp, min(time), max(time) 
from (select t.*, 
      (row_number() over (partition by student order by time) - 
       row_number() over (partition by student, computerpool order by time) 
      ) as grp 
     from dataset t 
    ) t 
group by student, grp, computerpool; 

編輯：

你的問題是關於池不機。所以，你只關心這段時間之前的部分，大概是這樣。 （順便說一下，您應該將這些信息存儲在不同的列中）。

select student, substr(computerpool, 1, 6), min(time), max(time) 
from (select t.*, 
      (row_number() over (partition by student order by time) - 
       row_number() over (partition by student, substr(computerpool, 1, 6) order by time) 
      ) as grp 
     from dataset t 
    ) t 
group by student, grp, substr(computerpool, 1, 6);