0
我正在計劃一個新的火花集羣。我的問題是我需要在所有數據節點上安裝spark worker節點嗎？例如，如果我有50個數據節點，並且我只安裝10個工作節點，這是否合理？ 謝謝！我們是否需要在所有數據節點上安裝spark worker節點？
A
回答
0
是的，您需要在所有節點上安裝spark worker，因爲默認情況下您無法預測將使用哪個節點。 請參閱this link多節點火花安裝
相關問題
- 1. 我是否需要在節點中安裝fs模塊
- 2. Mahout是否需要安裝在Hadoop的主節點上？
- 3. 如果Spark（在YARN上）沒有安裝在worker節點上，Spark Executors是如何啓動的？
- 4. 節點上安裝
- 5. Spark Worker節點自動停止
- 6. 我們是否需要爲鏈表節點分配內存？
- 7. 我們是否仍然需要節點附件文件夾？
- 8. jstree預選節點並打開所有需要的父節點
- 9. Spark 2：檢查節點是主節點還是工作節點
- 10. Amazon Emr - 當我們有Core節點時，Task節點需要什麼？
- 11. 節點模塊是否需要對方
- 12. 如何使用紗線在cloudera上添加Spark worker節點
- 13. 我是否需要Content Delivery節點上的LinkDatabase？
- 14. Mapper和Reducer類是否需要部署在Hadoop集羣的所有節點上
- 15. 是否有可能讓節點在當前節點之上？
- 16. 在哪裏安裝策展人？數據節點還是主節點？
- 17. Spring Quartz Scheduler服務僅需要在單個節點上運行，而不是在所有節點上運行
- 18. 不需要節點
- 19. 需要頭節點
- 20. Spark集羣中Worker節點上對象的早期初始化
- 21. 在Dockerfile中安裝節點？
- 22. 在節點需要語法
- 23. 所有OrientDB主節點是否具有相同的數據？
- 24. 在單個節點上安裝PIG
- 25. 在Mountain Lion上安裝32位節點
- 26. 安裝在節點上的puppetmaster下載
- 27. 在Ubuntu上安裝節點6.9 Zesty 17.04
- 28. 在節點heroku項目上安裝gems
- 29. 無法在Ubuntu上安裝節點16.04
- 30. 在節點上安裝貓鼬「require」undefined
它取決於您想要使用的Spark模式，對於獨立需要安裝在所有節點上，對於只需要安裝在您要啓動火花工作的節點的所有節點。 – vgunnu
請檢查此鏈接：http://stackoverflow.com/questions/24909958/spark-on-yarn-concept-understanding/38598830#38598830 – mrsrinivas