2015-07-12 33 views
2

我正在重新啓動在HDFS中設置檢查點的Spark流作業。我故意在5分鐘後終止工作並重新開始測試恢復。我收到此錯誤一次ssc.start()被調用。Apache Spark - ReducedWindowedDStream尚未初始化

INFO WriteAheadLogManager : Recovered 1 write ahead log files from hdfs://...receivedBlockMetadata 
INFO WriteAheadLogManager : Reading from the logs: 
Exception in thread "main" org.apache.spark.SparkException: [email protected]b3 has not been initialized 
at org.apache.spark.streaming.dstream.DStream.isTimeValid(DStream.scala:321) 

我開始使用作業:StreamingContext.getOrCreate(checkpointDir,...

作業已被滑動5分鐘,1小時,1天窗口中的三個窗口的操作,但工作在5分鐘後停止,爲了從檢查點恢復正常工作,是否需要通過所有窗口操作初始化的最大窗口時間?

回答

0

我遇到了同樣的問題,我刪除了HDFS上的檢查點路徑,以避免異常