星火：星火不使用的所有配置的執行者

Question

我們正在運行的火花流應用有批次排隊..但它不使用被配置給它的所有執行者..

它的配置爲使用執行者，但實際上它只是使用和批次越來越排隊

我們怎樣才能讓它在使用所有的24個執行者，而不是讓它排隊批了

Answer 1

它的配置爲使用24個執行人，但實際上它只是使用16

你的工作是期待 24容器/執行人要被分配給它，但它是僅接收16。這可能是因爲以下原因：

1. 羣集不被配置爲提供預期的資源量

資源可能是由您的基礎集羣管理器（yarn/mesos）配置的內存或vcore。您可以通過檢查您的羣集資源並相應地進行配置來解決此問題。

Cluster不貫穿你的工作的一生有足夠的資源

這可能是因爲其他的工作都在同一個集羣和集羣的一部分運行資源被他們消耗。