獲取批處理間隔的時間

Question

我正在寫一個火花流應用程序我需要獲取當前批處理間隔的時間..如何做到這一點？..我想知道時間是如何調整的..它是根據集羣驅動程序中機器的時間進行調整？

Answer 1

如果我理解正確的話，你需要指定你的星火流媒體應用的批次間隔，當您創建StreamingContext

例如：

val ssc = new StreamingContext(sparkConf, Seconds(2)) 

在這上面的代碼中，每2秒，你的火花流作業拉來自輸入源（卡夫卡，文件等）的數據...