2016-04-18 105 views
2

我有一個在羣集(Spark 1.6)上運行的Spark Streaming作業,它將檢查點轉換爲S3。當我最初開始工作時,我可以看到「流式傳輸」選項卡。但是,當我從檢查點重新開始作業時,Streaming選項卡消失。該作業仍作爲流式作業工作,我看到批處理以配置的批處理間隔顯示。見下文。從檢查點重新啓動後,Spark Spark選項卡消失

Snapshot

如果我清除出檢查點數據,標籤回來。我懷疑在從檢查點重新啓動時,Streaming選項卡未正確註冊。我看了一下Spark Streaming code。當應用程序狀態從檢查點反序列化時,是否有可能不會調用此流?

有誰知道如何解決這個問題?

回答

2

如果我清除檢查點數據,該選項卡會返回。我懷疑 從 檢查點重新啓動時Streaming選項卡未正確註冊。

它被調用,但直到它完成從S3檢查點位置加載所有數據之後才顯示流選項卡。如果您的血統很長,可能需要一些時間才能加載。一旦所有數據從檢查點恢復,您將看到「流」選項卡出現。