如何估算Hortonworks Hadoop集羣上的火花執行器數量？

Question

我設置一個Hortonworks Hadoop集羣：

• Hortonworks版本2.3.2。
• 1 NameNode，1 Secondary NameNode，10 DataNode
• Spark 1.4.1並部署在所有數據節點上。
• YARN已安裝。

當我運行一個spark程序時，執行程序僅在4個節點上運行，但不是在整個數據節點上運行。

如何估算這種Hadoop集羣上的火花執行器數量？

Answer 1

默認情況下，您請求的執行程序數量爲4.如果要請求更多，則必須使用命令行中的參數--num-executors = x或在配置中設置spark.executors.instances。更多詳細信息，請參見： https://spark.apache.org/docs/latest/running-on-yarn.html

因爲Spark是使用YARN在Hortonworks Hadoop上運行的，所以每個Spark客戶端都應該部署YARN /節點管理器，YARN客戶端。否則，火花客戶端將不會被安排。

實際執行者與節點管理器和num-executors的最小數目有關。