Sessionization火花

Question

我有一大堆的特點是note列在火花事件（用戶點擊/動作/按下按鈕）的：

>>> df.show(20) 
+-------+-------------+------------+------+ 
| user| timestamp|  note|action| 
+-------+-------------+------------+------+ 
|2376466|1458580817381|event #1 ...|UPDATE| 
|2376466|1458580822034|event #1 ...|UPDATE| 
|2376466|1458580822112|event #2 ...|UPDATE| 
|2376466|1458580822166|event #2 ...|UPDATE| 
|2376466|1458580822216|event #2 ...|UPDATE| 
|2376466|1458580822225|event #2 ...|UPDATE| 
|2376466|1458580822651|event #1 ...|UPDATE| 
|2376466|1458580822660|event #1 ...|UPDATE| 
+-------+-------------+------------+------+ 

我想知道一個「會話」的持續時間特別是note。例如，事件＃2開始於1458580822112並結束於1458580822225，因此持續時間將是..225 - ..112 = 113毫秒。是否有任何火花助手或快捷方式將數據組織到「」會話「或其他方式來提取這樣的信息？或者想法是不斷地向每行添加額外的狀態信息並在會話標識符列準備就緒時將其捲起？

注意：同一類型的多個音符應該被認爲是單獨的會話

Answer 1

你可以利用星火-SQL來acheive你的目標 下面是一些代碼，對我的作品，其會給出會話 你可以編寫一個輔助函數，然後將其註冊爲UDF 然後可以在你的SQL語句中調用這個UDF

df.registerTempTable("Events")  
import sqlContext.implicits._ 

# (You can modify this according to what exact value have in note column.) 

def process(colname: String):String = {  
    return colname.substring(0,8)  
} 

sqlContext.udf.register("process",process _)  
val dd = sqlContext.sql("select timestamp as timestamp, process(note) as note from Events") 

dd.registerTempTable("SubEvents") 

val dt = sqlContext.sql("select last(timestamp) - first(timestamp) as session, note as note from SubEvents group by note") 

dt.show()  
+--------+--------+  
|session| note|  
+--------+--------+  
|  5|event #1|  
|  2|event #2|  
|  1|event #3|  
+--------+--------+ 

而且完全bluemix火花筆記本可以看作here： -

感謝，

查爾斯。