未能在Spark中手動啓動集羣

我剛開始使用Spark Apache。我在本地計算機（Windows 10，Intel Core i5,8 GB RAM）中對其進行了測試，並且一切正常。當我試圖手動啓動一個簇我有一個錯誤，如在以下附加的圖像中：未能在Spark中手動啓動集羣

信息從日誌（C：\火花\日誌\火花 - org.apache.spark.deploy.master.Master -1- XXXXXX.out：

星火命令：C：\ Program Files文件\的Java \ jdk1.8.0_72 \ BIN \ java命令C：\星火/ conf目錄\; C：\星火/ lib目錄/ spark-assembly-1.6.0-hadoop2.6.0.jar; C：\ Spark \ lib \ datanucleus -api -jdo-3.2.6.jar; C：\ Spark \ lib \ datanucleus-core-3.2.10.jar ; C：\ Spark \ lib \ datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g org.apache.spark.deploy.master.Master --ip XXXXXX --port 7077 --webui-port 8080

我使用這些資源來解決這個問題，但沒有成功：
Spark Standalone Mode
How to Setup Local Standalone Spark Node
Setup a Apache Spark cluster in your single standalone machine

感謝您的任何反饋。

來源

2016-04-02 Hawk360

您能否提供日誌？ – PinoSan

已被添加到我的文章。 – Hawk360

您應該提供有關錯誤消息的更多詳細信息。你的問題也應該更具體。您可以從完整的日誌複製粘貼開始。直到現在，這就像你說我的應用程序不工作，我不知道爲什麼。否則我無法幫助你。 – PinoSan

我覺得你有點混淆了。在Windows機器上運行Spark時 - 使用遠程主服務器或在本地運行它是有意義的。在這兩種情況下 - 使用bin\spark-shell.cmd（或另一個bin/*.cmd）。您只應在Windows機器上執行以.cmd結尾的命令。當你運行start-master.sh你說的是 - 我想用這臺機器作爲火花集羣的資源管理器，所以其他火花客戶端可以連接它並執行查詢。這可能不是你想要的。當你在做local[*]時，你已經在使用所有本地資源，沒有必要啓動「主」。如果您需要更多資源 - 啓動遠程羣集（例如EMR），然後使用它連接到bin\spark-shell.cmd --master AMAZON.IP:7077

來源

2016-04-04 01:46:06 avloss

感謝@avloss的反饋。 EMR是費用選項。你有沒有其他的選擇，沒有任何額外的費用用於測試目的？我仍然想知道是否可以在Windows上創建一個獨立羣集（一臺主機和一臺機器上有4個從機），因爲它是在linux的火花教程中提供的（[link]（http://mbonaci.github.io/mbo-火花/））？ – Hawk360

你可以 - 但你必須使用類似[VirtualBox]（https://www.virtualbox.org/）的東西才能運行它。然後在這裏（https://www.virtualbox.org/wiki/Linux_Downloads）獲取一個Ubuntu的imange，然後按照他的步驟操作。但是再次 - 我看不出這樣做的真正意義，因爲你的Spark將工作得更慢（可能要慢得多）。但如果這對你來說更像是練習，那麼我會說'VirtualBox'肯定是要走的路，因爲我懷疑任何人都在Windows機器上運行生產集羣。 – avloss

未能在Spark中手動啓動集羣

回答

相關問題