流媒體應用程序的時間序列窗口

Question

我們正在開發使用Kafka，storm和redis的數據管道應用程序。來自不同系統的實時事件將發佈給Kafka，風暴根據配置的規則進行事件處理。狀態由redis管理。

我們有不同的事件處理之前實現不同WAIT_TIME的要求。我們正在尋找以下選項。

我們最初看着風暴窗[滑動或翻滾窗口]，但提供選項僅配置固定的時間間隔。我們需要基於規則的不同wait_time

我們正在探索將事件存儲在redis緩存中以改變持續時間[TTL]的其他選項，並且一旦每個事件被逐出，我們需要回調風暴來處理它。

請在驅逐的Redis支持回調？風暴和redis有沒有更好的方法來做到這一點？

Answer 1

我們通過計算每個流媒體事件的到期時間來解決問題&將redis中的事件存儲在到期時間[過期作爲鍵]中，頂級風暴調度器將查詢符合驅逐和處理條件的事件。