在運行bin/pyspark時運行此程序錯誤之前，您需要構建Spark

我正在開始使用Spark。在運行bin/pyspark時運行此程序錯誤之前，您需要構建Spark

我在啓動spark時遇到問題。

我從火花官方網站上下載，我想從這個https://spark.apache.org/docs/0.9.0/quick-start.html

以快速開始我已經下載，安裝sparkhome，當我試圖運行從bin目錄./pyspark我得到這個錯誤：

[email protected]:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark 
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory 
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10. 
You need to build Spark before running this program. 
[email protected]:~/Downloads/spark-1.5.0/bin$

任何人都可以幫我弄清楚這個嗎？

來源

2015-11-09 Soundarya Thiagarajan

如果你想使用源代碼發佈，你必須首先構建Spark。您可以在Building Spark中找到詳細信息。

否則剛剛從下載專區下載一個二進制分發（選擇預建）：

也不要使用過時的文檔。您可以使用最新的：

http://spark.apache.org/docs/latest

或特定

http://spark.apache.org/docs/1.5.0

來源

2015-11-09 08:40:45 zero323

嗨，謝謝你的回覆。我試着運行它。 15/11/09 14:28:03錯誤NettyTransport：無法綁定到/192.168.0.109,0，關閉Netty傳輸 15/11/09 14:28:03錯誤SparkContext：初始化SparkContext時出錯。 java.net.BindException：無法綁定到：/192.168.0.109:0：服務'sparkDriver'在16次重試後失敗！ py4j.protocol.Py4JJavaError：調用None.org.apache.spark.api.java.JavaSparkContext時發生錯誤。：java.net.BindException：無法綁定到：/192.168.0.109:0：服務'sparkDriver'在16次重試後失敗！ –

我下載了spark-1.5.0-bin-hadoop2.4/bin –

你的conf/spark-env.sh文件中有什麼？你有沒有嘗試首先打開火星殼？（bin/spark-shell） – AkhlD

下載喜歡zero323火花的預構建版本版本建議。另外，在sudo模式下運行spark並不是一個好習慣。

來源

2015-11-09 09:02:45 AkhlD

嗨，我試着下載建議：spark-1.5.0-bin-hadoop2.4（prebuild版本）..但我仍然抱着錯誤.. OpenJDK 64位服務器VM警告：INFO：os :: commit_memory（0x00000007d5500000,716177408,0）失敗;錯誤='無法分配內存'（errno = 12）＃＃沒有足夠的內存讓Java運行時環境繼續運行。＃本機內存分配（malloc）未能爲提交保留內存分配716177408個字節。＃包含更多信息的錯誤報告文件另存爲：＃/home/soundarya/Downloads/spark-1.5.0/hs_err_pid18440.log –

您的計算機上有多少內存？它是一個JVM堆錯誤，並且與spark沒有關係。您可以嘗試設置conf/spark-defaults.conf文件中的spark.driver.memory和spark.executor.memory。或者只需從終端執行導出_JAVA_OPTIONS = -Xmx1g。 – AkhlD

我沒有導出_JAVA_OPTIONS = -Xmx1g;拾取_JAVA_OPTIONS：-Xmx1g raise Exception（「Java網關進程在發送驅動程序之前退出其端口號」）例外：Java網關進程在發送驅動程序之前退出其端口號 >>> ＃沒有足夠的內存Java運行時環境繼續。 –

在運行bin/pyspark時運行此程序錯誤之前，您需要構建Spark

回答

相關問題