我有一個3節點spark獨立羣集,在主節點上我也有一個worker。當我向集羣提交應用程序時,其他兩名工作人員開始RUNNING,但主節點上的工作人員保持LOADING狀態,最終在另一臺機器上啓動另一個工作人員。我可以在同一個節點上有主人和工人嗎?
在同一個節點上有工人和主人是問題嗎? 如果是的話,有沒有辦法解決這個問題,或者我不應該有一個工人和一個主人在同一個節點上?
P.S.這些機器每個都有8個核心,工作人員設置爲使用7而不是所有的RAM
我有一個3節點spark獨立羣集,在主節點上我也有一個worker。當我向集羣提交應用程序時,其他兩名工作人員開始RUNNING,但主節點上的工作人員保持LOADING狀態,最終在另一臺機器上啓動另一個工作人員。我可以在同一個節點上有主人和工人嗎?
在同一個節點上有工人和主人是問題嗎? 如果是的話,有沒有辦法解決這個問題,或者我不應該有一個工人和一個主人在同一個節點上?
P.S.這些機器每個都有8個核心,工作人員設置爲使用7而不是所有的RAM
可能有一臺機器同時承載工人和主人。
是否有可能在該特定機器上錯誤地配置了spark-env.sh
?
是的,你可以在這裏爲Spark web doc:
除了在Mesos或紗線集羣管理器運行,星火還提供了一個簡單的獨立部署模式。您可以手動啓動獨立羣集,也可以手動啓動主控人員或員工,也可以使用我們提供的啓動腳本。 也可以在單臺機器上運行這些守護進程以進行測試。
問題是另一回事。謝謝您的回答。 – vntzy
@vntzy你應該自己回答你的問題,或刪除它。目前它是一個膨脹的計算器。 – jangorecki