無法啓動主爲Spark在Windows

同樣的問題作爲Failed to start master for spark in windows 10它也沒有解決。無法啓動主爲Spark在Windows

我的火花通過測試pyspark.cmd和火花shell.cmd行之有效

乳寧.\sbin\start-master.sh後我得到：

ps: unknown option -- o 
Try 'ps --help' for more information. 
starting org.apache.spark.deploy.master.Master, logging to C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out 
ps: unknown option -- o 
Try 'ps --help' for more information. 
failed to launch org.apache.spark.deploy.master.Master: 
    ======================================== 
    Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M 
full log in C:\spark-1.6.1-bin-hadoop2.6/logs/spark--org.apache.spark.deploy.master.Master-1-%MY_USER_NAME%-PC.out

我試圖訪問網絡的用戶界面，而本地主機：4040無法訪問localhost：8080。

而且我發現有一個在％SPARK_HOME％/日誌文件夾中創建的.log文件。它們含有相同的內容：

星火命令：

C:\Program Files\Java\jdk1.7.0_79\bin\java -cp C:\spark-1.6.1-bin-hadoop2.6/conf\;C:\spark-1.6.1-bin-hadoop2.6/lib/spark-assembly-1.6.1-hadoop2.6.0.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-api-jdo-3.2.6.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-core-3.2.10.jar;C:\spark-1.6.1-bin-hadoop2.6\lib\datanucleus-rdbms-3.2.9.jar -Xms1g -Xmx1g -XX:MaxPermSize=256m org.apache.spark.deploy.master.Master --ip hahaha-PC --port 7077 --webui-port 8080 

======================================== 
Picked up _JAVA_OPTIONS: -Xmx512M -Xms512M

工作環境：星火：1.6.1 的Windows 10

期待您的回覆，感謝您的時間這麼多！

來源

2016-04-13 Spider

你有你的java home＆class路徑上的java 7+嗎？運行命令'echo％java_home％' – Nahum

您試圖在powershell中運行shell命令，您認爲這是可能的嗎？ – eliasah

@NahumLitvin是的。輸入echo％JAVA_HOME％後，我得到了C：\ Program Files \ Java \ jdk1.7.0_79。 – Spider

剛剛找到答案在這裏：https://spark.apache.org/docs/1.2.0/spark-standalone.html

「注意：啓動腳本目前不支持Windows要在Windows上運行一個集羣星火，開始手工師傅和工人。」

來源

2016-04-13 09:31:02 Spider

如何在Windows中啓動主機？當我使用'start-master啓動主站。其拋出同樣的錯誤。我在Windows中使用Git Bash。 –

嘗試使用Windows cmd代替。我和Git有同樣的問題，但cmd工作。 –

戰鬥!!!!!!! – Spider

位於%SPARK_HOME%\sbin的啓動腳本不支持Windows。您需要手動運行主和工作人員，如下所述。

轉到%SPARK_HOME%\bin文件夾中的一個命令提示
運行spark-class org.apache.spark.deploy.master.Master運行主。這會給你一個表格的URL spark://ip:port
運行spark-class org.apache.spark.deploy.worker.Worker spark://ip:port運行該工作者。確保使用您在步驟2中獲得的URL。
運行spark-shell --master spark://ip:port將應用程序連接到新創建的羣集。

來源

2016-08-08 07:23:24

我嘗試了1）在Windows上使用cygwin。運行該命令後，它不會返回任何內容。所以我沒有網址。在此之前我必須運行任何東西嗎？ – kaks

它完美的作品。會議在那裏直到cmd開放。一旦我關閉了cmd，它就會被終止。有沒有什麼缺失來維持會議。 –

執行spark-class org.apache.spark.deploy.master.Master後，只需轉到http://localhost:8080即可得到ip：port。然後打開另一個命令外殼執行火花級org.apache.spark.deploy.worker.Worker火花：// IP：PORT

來源

2016-12-14 20:34:14

你能否提供一些關於你認爲這會起作用的更多信息？ –

它工作？ :) –

的小動作應該有所幫助。我將JAVA_HOME路徑更改爲DOS版本：c：\ Progra〜1 \ Java \ jre1.8.0_131，然後重新啓動。之後我能夠運行上面提到的spark-class org.apache ...命令。

來源

2017-06-29 13:20:57 yImI

無法啓動主爲Spark在Windows

回答

相關問題