2017-06-21 103 views
1

我目前正試圖在sparkner上運行帶有窗口和groupbykey的束流管道。在紗線上的Spark Streaming中的Beam GroupByKey

在本地,它的工作原理完全,

但在紗模式,似乎GroupByKey.create()下來都流(沒有最終HBase的突變)後,不會觸發窗格。

所有ParDos成組之前成功記錄消息(從卡夫卡獲得)。

窗口化策略與默認觸發:

Window.<String>into(FixedWindows.of(Duration.standardMinutes(WINDOW_SIZE_MIN))) 

我也試過在處理時間觸發。

有沒有人有任何見解目前支持火花跑步2.0.0?

回答