1
我目前正試圖在sparkner上運行帶有窗口和groupbykey的束流管道。在紗線上的Spark Streaming中的Beam GroupByKey
在本地,它的工作原理完全,
但在紗模式,似乎GroupByKey.create()
下來都流(沒有最終HBase的突變)後,不會觸發窗格。
所有ParDos成組之前成功記錄消息(從卡夫卡獲得)。
窗口化策略與默認觸發:
Window.<String>into(FixedWindows.of(Duration.standardMinutes(WINDOW_SIZE_MIN)))
我也試過在處理時間觸發。
有沒有人有任何見解目前支持火花跑步2.0.0?