每個工人使用YARN和Spark的多個執行者？

Question

在我的公司，我們用舊機器和新機器的組合拼湊出異質的YARN + Spark羣集。由於各個機器的統計數據差異很大，我希望能夠在大型機器上啓動多個執行程序。設置--num-executors高於羣集中的機器數量不起作用。是否有其他一些設置需要更改以啓用此功能，還是僅僅是不可能的？

Answer 1

通過--executor-cores選項。對於良好的性能，這應該是〜4： http://www.datarpm.com/resources/achieving-optimal-performance-with-apache-spark1-5/

這將啓動一個4核心機器上的一個執行器，以及4個執行器和一個16核心機器。