我的團隊正在Amazon Cloud上部署新的大數據架構。我們已經啓動並運行Spark作業。Spark Mesos Dispatcher
我們從同一集羣內的堡壘主機提交Spark作業（即：jars）。但是，這樣做，堡壘主機是驅動程序，這稱爲client mode（如果我理解正確）。
我們想嘗試cluster mode，但我們不明白從哪裏開始調度程序。
文檔說它在集羣中啓動它，但我很困惑，因爲我們的主人沒有安裝Spark，而且我們使用Zookeeper進行主選。在從屬節點上啓動它並不是一個可行的選項，因爲從屬服務器可能會失敗，並且我們不希望將一個從屬IP或公共DNS暴露給堡壘主機。
在堡壘主機上啓動調度程序是否正確？
非常感謝您
文檔不是很詳細。 但是，我們非常滿意我們發現的： 根據documentation，羣集模式不支持Mesos羣集（以及Python應用程序）。
然而，我們開始使用--master mesos://zk://...
遞交申請的調度員，你需要以下條件：
spark-submit --deploy-mode cluster <other options> --master mesos://<dispatcher_ip>:7077 <ClassName> <jar>
如果你從一個堡壘機上運行此命令，它不會工作，因爲Mesos大師將在與堡壘相同的路徑中查找可提交的jar。我們結束將該文件公開爲可下載的URL。
希望這有助於
我沒有用集羣模式Mesos和cluster mode description不是很詳細。該腳本甚至沒有--help選項，就像應該有的那樣，恕我直言。但是，如果您未通過--master參數，則會通過幫助消息發出錯誤消息，結果顯示指定Zookeeper URL的選項有--zk。
可能的工作是在堡壘本身上啓動該腳本，並使用相應的--master和--zk選項。這對你有用嗎？
你可以使用一個碼頭工人形象火花和你application.jar而不是上傳罐子S3的。我還沒有嘗試，但我認爲它應該工作。環境變量中的SPARK_DIST_CLASSPATH。我使用火花分佈編譯沒有hadoop與apache hadoop 2.7.1
export SPARK_DIST_CLASSPATH=$(/opt/hadoop/bin/hadoop classpath):/opt/hadoop/share/hadoop/tools/lib/*:/opt/application.jar
你是如何啓動調度程序？我的意思是在哪裏指定 - 大師mesos：// zk：// ... –
對不起，這是很久以前。我們因爲各種原因放棄了Mesos作爲資源經理，因此我無法回答或指出您對文檔 – besil
非常感謝您抽出寶貴時間發表評論！美好的一天 ！ :) –