Spark Kafka與Apache Ignite的結構化流式集成

Question

現在，我無法在Apche Ignite中保存Spark DataFrames。它將包含在Apache Ignite 2.2版本中，如https://issues.apache.org/jira/browse/IGNITE-3084所述。我正在使用Apache Spark的結構化流式API與Kafka一起使用數據。我想要做一些聚合，如特定列的平均值或消耗數據的最小 - 最大值。

我的問題是我是否應該使用Spark SQL DataFrame API來完成上面提到的聚合，還是應該等待Apache Ignite 2.2版本？他們在文檔中提到Ignite SQL比Spark SQL快100倍。

Answer 1

其實，這取決於你。您現在可以繼續使用Spark，然後等待Ignite準備好DataFrames支持，比較這兩種方法並選擇更適合您需求的方法。