在哪裏執行Apache Spark reductionByWindow函數？

Question

我試圖學習apache spark，並且我無法從documentation瞭解窗口操作是如何工作的。

我有兩個工人節點，我使用Kafka Spark Utils從主題創建DStream。

在此DStream上我應用map函數和reductionByWindow。

我不明白，如果reductionByWindow是在每個工人或在驅動程序上執行。

我已經在谷歌搜索沒有任何結果。

有人可以解釋我嗎？

Answer 1

接收和處理數據都發生在工作節點上。驅動程序創建負責數據收集的接收者（在工作者節點上），並定期啓動作業以處理收集的數據。其他一切都是非常標準的RDD和正常的Spark作業。