1
我可以看到如何配置SparkConf創建流媒體應用程序(see here)SnappyData - 配置數據流作業,火花設置
我認爲我能爲類似於流媒體應用程序中的數據流作業,通過SnappyStreamingContext配置SparkConf時。假設我在流式作業中獲得了SparkConf的句柄並修改了一些設置。這些設置是否僅適用於此流式作業或者這是所有作業的全局配置更新?
謝謝!
我可以看到如何配置SparkConf創建流媒體應用程序(see here)SnappyData - 配置數據流作業,火花設置
我認爲我能爲類似於流媒體應用程序中的數據流作業,通過SnappyStreamingContext配置SparkConf時。假設我在流式作業中獲得了SparkConf的句柄並修改了一些設置。這些設置是否僅適用於此流式作業或者這是所有作業的全局配置更新?
謝謝!
是的,您可以通過SnappyStreamingContext配置SparkConf進行流式作業,它與Spark流式配置相同。由於SparkConf是全局配置,它適用於流應用程序中的所有作業。我認爲Spark在啓動應用程序後不允許您更改SparkConf。