Spark流使用較少數量的執行程序

Question

我正在使用Spark流處理某些事件。它以獨立模式進行部署，有1個主站和3個工作站。我將每個執行程序的內核數量設置爲4，並將執行程序的總數設置爲24.這意味着共將生成6個執行程序。我已經確定了真實的。所以每個工人機器得到2個執行者。我的批處理間隔是1秒。此外，我已將該批次重新分配至21個。其餘3個用於接收器。運行我從事件時間線觀察到的結果是，只有3個執行者正在使用。其他3個未被使用。據我所知，在spark獨立模式下沒有參數來指定執行程序的數量。我該如何使用所有可用的執行程序產生火花？

Answer 1

也許你的流沒有太多的分區來填補所有的執行者在每一個1秒minibatch。嘗試使用repartition(24)作爲第一個流式轉換，以使用完整的火花集羣電源。