如何在Scala中的兩個DStream之間執行壓縮？

Question

我有兩個窗口的dstream，我想拉鍊像RDD中的正常壓縮。

注意：主要目標是計算窗口dstream的均值和stdv，以防有更好的方法來計算。

Answer 1

我用DStream的transformWith來使用這個rdd操作，這解決了我的問題。

例子：

valueStream.transformWith(mean, (rdd1: RDD[Int], rdd2 : RDD[Double]) => {rdd1.zip(rdd2)}