0
關於能夠使用Spark運行機器學習作業。 Yarn調度程序或Spark Standalone調度程序是更好的選擇嗎?對於Cloudera 5.4 hadoop集羣,火花獨立調度程序或Yarn調度程序更好嗎?
關於能夠使用Spark運行機器學習作業。 Yarn調度程序或Spark Standalone調度程序是更好的選擇嗎?對於Cloudera 5.4 hadoop集羣,火花獨立調度程序或Yarn調度程序更好嗎?
運行實際的火花作業沒有區別。
如果您的羣集中運行不同的Spark應用程序和/或運行其他組件(當然支持紗線/ Mesos),紗線/ Mesos可幫助您安排資源。
Spark獨立羣集無法管理資源。也就是說,如果您啓動Spark應用程序並使用所有資源,則第二個應用程序將找不到任何剩餘資源。這意味着你必須自己做(例如相應地調整Spark配置)
這一切都依賴於,我沒有看到任何顯着差異,但是在這兩個集羣管理器中是否有具體的您正在尋找和比較的具體內容? – Sumit