0
我想處理每M分鐘的最後N小時數據。數據通過pubsub進行各種延遲,但由於時間偏差或數據滯後,我不想延遲窗口觸發。也就是說,我只是想處理觸發時可用的數據,並希望根據掛牆時間觸發(但每個窗口應包含基於數據事件時間的[觸發時間 - M小時,觸發時間]之間的數據。)如何定期觸發窗口?
我想使用SlidingWindows,但觸發是基於事件時間,似乎由於數據滯後而延遲。
這樣做的最好方法是什麼?
感謝,
我想處理每M分鐘的最後N小時數據。數據通過pubsub進行各種延遲,但由於時間偏差或數據滯後,我不想延遲窗口觸發。也就是說,我只是想處理觸發時可用的數據,並希望根據掛牆時間觸發(但每個窗口應包含基於數據事件時間的[觸發時間 - M小時,觸發時間]之間的數據。)如何定期觸發窗口?
我想使用SlidingWindows,但觸發是基於事件時間,似乎由於數據滯後而延遲。
這樣做的最好方法是什麼?
感謝,
您應該使用AfterProcessingTime.pastFirstElementInPane().plusDelayOf(...)觸發與FixedWindows。這將按照您的描述進行。