如何在Streaming DataFrame上執行多個時間窗口操作？

我在數據幀3列： - [時間：時間戳，COL1：雙，COL2：雙] 我想執行以下操作：如何在Streaming DataFrame上執行多個時間窗口操作？

dataFrame.withWatermark("time", "10 seconds") 
     .groupBy(window(col("time"),"10 seconds","1 second")) 
     .agg(mean("col1") with window of 10 seconds,max("col") with window of 5 seconds)`

來源

2017-08-30 Naman Agarwal

上不同的密鑰組多個聚合（不同窗口=不同分組鍵）還不支持。你將不得不運行2個不同的查詢。

來源

2017-08-31 02:07:34

感謝您的回覆。如果我進行2個不同的查詢，可以說一個用於平均值，一個用於最大值而不會加入這些查詢，因爲多個聚合還不支持連接兩個流式查詢或數據幀。請幫我找到解決此問題的方法。 –

如果包含多個聚合（Avg，Max，..等Spark批處理支持）的動態規則無法應用到Spark結構化流式處理，直到2.2。即使打破查詢並加入它們也Spark將它視爲多個聚合並引發異常。從邏輯計劃

實施例： Aggr1：骨料 [EVENTTIME＃29，類別名稱＃15]，[EVENTTIME＃29，類別名稱＃15 總和（項目值＃10）AS SUM（項目值）＃64]

Aggr2：骨料 [EVENTTIME＃84，類別名稱＃105]，[EVENTTIME＃84，類別名稱＃105 平均（項目值＃100）AS AVG（項目值）＃78]

有機apache.spark.sql.AnalysisException：多個流聚合不支持與流式數據幀/數據集配合使用;;

來源

2017-11-19 03:33:43 Shashi

非常感謝您的答案，但我們已經知道這一點。而且我們也使用Kafka Streams實現了這一點。 –

如何在Streaming DataFrame上執行多個時間窗口操作？

回答

相關問題