在hadoop集羣上安裝spark集羣

-1

我試圖在hadoop集羣上安裝apache spark集羣。在hadoop集羣上安裝spark集羣

我在這方面尋找最好的實踐。我假設spark master需要安裝在hadoop datanode上的hadoop namenode和spark slave的同一臺機器上。另外，我需要安裝scala嗎？請指教。

2016-06-12 K V

如果您的Hadoop集羣正在運行YARN，只需使用紗線模式提交您的應用程序。這將是最簡單的方法，不需要您安裝任何軟件，只需將Apache Spark分發下載到客戶端機器即可。您可以做的另一件事是將Spark程序集部署到HDFS，以便在調用spark-submit時使用spark.yarn.jar配置，以便將JAR緩存到節點上。

在這裏看到的所有細節：http://spark.apache.org/docs/latest/running-on-yarn.html

來源

2016-06-12 02:27:34 Silvio

聽起來不錯，我未解壓最新的火花二進制分發版，並運行此命令/opt/spark-1.6.1/sbin/start-all.sh，但我得到錯誤： –

無法在/opt/spark-1.6.1/assembly/target/scala-2.10中找到Spark程序集。 test205：您需要在運行此程序之前構建Spark。 –

我現在得到：test205：未能啓動org.apache.spark.deploy.worker.Worker：在從屬日誌文件中顯示：[hadoop @ test205〜] $ tail -f /opt/spark-1.6.1-bin-沒有hadoop/logs/spark-hadoop-org.apache.spark.deploy.worker.Worker-1-test205.kartikv.com.out at java.lang.Class.getMethod0（Class.java:3018） at java .lang.Class.getMethod（Class.java:1784）在sun.launcher.LauncherHelper.validateMainClass（LauncherHelper.java:544）在sun.launcher.LauncherHelper.checkAndLoadMain（LauncherHelper.java:526）引起：JAVA .lang.ClassNotFoundException：org.slf4j.Logger –

在hadoop集羣上安裝spark集羣

回答

相關問題