Spark Streaming - 批量處於等待狀態，應用程序無效

Question

Spark Streaming UI中的waiting batches是什麼意思？我有一個自定義網絡接收器啓動，並在統計我可以看到以下內容：

Time since start: 25 minutes 42 seconds 
Network receivers: 2 
Batch interval: 1 second 
Processed batches: 0 
Waiting batches: 1 
Received records: 0 
Processed records: 0 

而接收器什麼都不做。它仍在等待「爲了什麼」應用程序的真實狀態是什麼。裏面發生了什麼？我在文檔中找不到任何東西。

Answer 1

我相信你的火花實際上是做一些事情（也許它需要很長的時間？），因爲等待批次實際被處理的 - see this。