如何在Spark Streaming中構建查找映射？

Question

在火花流應用程序中維護應用程序狀態的最佳方法是什麼？

我知道的方法有兩種：

1. 使用「聯盟」操作追加到查找RDD和各工會後能持續它。
2. 將狀態保存在文件或數據庫中，並將其加載到每批的開始位置。

我的問題是從性能的角度來看哪個更好？另外，有沒有更好的方法來做到這一點？

Answer 1

你真的應該使用mapWithState(spec: StateSpec[K, V, StateType, MappedType])如下：

import org.apache.spark.streaming.{ StreamingContext, Seconds } 
val ssc = new StreamingContext(sc, batchDuration = Seconds(5)) 

// checkpointing is mandatory 
ssc.checkpoint("_checkpoints") 

val rdd = sc.parallelize(0 to 9).map(n => (n, n % 2 toString)) 
import org.apache.spark.streaming.dstream.ConstantInputDStream 
val sessions = new ConstantInputDStream(ssc, rdd) 

import org.apache.spark.streaming.{State, StateSpec, Time} 
val updateState = (batchTime: Time, key: Int, value: Option[String], state: State[Int]) => { 
    println(s">>> batchTime = $batchTime") 
    println(s">>> key  = $key") 
    println(s">>> value  = $value") 
    println(s">>> state  = $state") 
    val sum = value.getOrElse("").size + state.getOption.getOrElse(0) 
    state.update(sum) 
    Some((key, value, sum)) // mapped value 
} 
val spec = StateSpec.function(updateState) 
val mappedStatefulStream = sessions.mapWithState(spec) 

mappedStatefulStream.print()