我可以在CDH中安裝多個Spark版本嗎？

我使用cdh5.1.0，它已經安裝了默認的spark。不過，我想使用Spark 1.3。我是否也可以將此版本安裝到cdh5.1.0？如何設置這些？新版本的火花是否也會通過Cloudera經理進行監控？我可以在CDH中安裝多個Spark版本嗎？

來源

2015-04-17 HappyCoding

是的，你可以運行你喜歡的任何Apache Spark版本。只要確保它是爲您的YARN版本構建的（CDH 5.1.0爲2.3）。然後，您可以使用作爲YARN應用程序運行您的應用程序。（請參閱http://spark.apache.org/docs/latest/running-on-yarn.html。）它將像其他任何YARN應用程序一樣受到監視。

Spark根本不需要「安裝」，只需運行應用程序即可。

來源

2015-04-17 07:53:52

或許有助於提的是，所需的Spark版本應該與建給定的紗線版本。 –

如何查看我當前版本的YARN？如果當前的紗線沒有spark1.3，接下來應該做什麼？ – HappyCoding

謝謝Shyamendra！我已經添加了一個關於這個的句子。 @HappyCoding：我認爲CDH 5.1.0具有Hadoop 2.3，因此當您下載Spark 1.3.0時，請選擇「預先爲Hadoop 2.3構建」的構建版本。 –

-3

請在下面執行從控制檯命令，使用sudo訪問和密碼....這將更新您的火花當前版本爲最新版本

sudo yum install spark-core spark-master spark-worker spark-history-server spark-python 
sudo yum install spark-core spark-history-server spark-python

來源

2016-06-28 12:23:04

雖然這可能是解決問題的有價值的提示，但的答案確實需要比這更詳細的一點。請 [編輯]解釋如何回答這個問題。或者，請考慮將其寫爲註釋。 –

我可以在CDH中安裝多個Spark版本嗎？

回答

相關問題