是否有某種方法可以在一段時間後終止Spark Streaming作業,因此驅動程序不會丟失,並且其餘API會將作業完成。在一段時間後停止Spark Streaming作業
1
A
回答
1
在awaitTerminationOrTimeout(timeout: Long)
中的超時功能與您選擇的timeout
值將在超時過期後恢復執行主程序。
之後我們需要有一些其他的等待函數來保持火花上下文以供檢查。
喜歡的東西:
// create streaming context
// do dstream stuff
streamingContext.awaitTerminationOrTimeout(streamingTimeout)
streamingContext.stop(stopSparkContext = false)
Thread.sleep(afterStreamingTimeout) // keep alive for some time.
// the end
作爲替代方案,你可以使用一個互動的環境,例如筆記本,對於那些類型的實驗。在那裏你可以通過發行streamingContext.stop(stopSparkContext = false)
來手動停止上下文,只要筆記本處於活動狀態,火花上下文仍然有效。 (這是我用來原型)
相關問題
- 1. 暫停Spark Streaming作業
- 2. 在一段時間後停止Spark Streaming中的流式上下文
- 3. mssql_connect停止工作一段時間後
- 4. 安排Spark Streaming作業
- 5. 在一段時間後停止線程
- 6. 在一段時間後停止boost :: io_service
- 7. AsyncTask在一段時間後停止
- 8. 在一段時間後停止線程
- 9. 在一段時間後停止執行當前正在運行的作業
- 10. 一段時間後聲音停止 - Android
- 11. 在C#中停留一段時間後停止計時器
- 12. 在某段時間後停止線程
- 13. MySQL事件在一段時間後停止工作
- 14. MongoDB在一段時間後停止工作
- 15. Perl腳本在一段時間後停止工作
- 16. 支持Https的Localhost HttpListener - 在一段時間後停止工作
- 17. gnatpp在一段時間後停止工作
- 18. PHPStorm:XDebug在一段時間後停止工作
- 19. Android小部件在一段時間後停止工作?
- 20. OpenAL在一段時間後停止工作(iOS)
- 21. ie9 signalR在一段時間後停止工作
- 22. Hammer.js在一段時間後停止工作
- 23. Java ThreadPoolExecutor在一段時間後停止工作
- 24. jssc writebytes在linux上停止工作一段時間後
- 25. TCP通信器在一段時間後停止工作
- 26. SetWindowsHook在一段時間後停止工作
- 27. freeradius在一段時間後停止工作
- 28. Esper在運行一段時間後停止工作
- 29. SignalR在一段時間後停止工作
- 30. Spark Streaming中「作業時間」和「批處理時間」有什麼區別?
如果你需要停止它,它可能是不正確的Spark Streaming –
我知道這不是一個好的做法,但我需要,因爲我想要的內存使用指標和大象博士需要一個已完成作業 – JSR29