使用Ambari安裝spark 2.1.0 2.4.2.0

我在Spark和Ambari的集羣安裝上比較新。最近，我得到了一個安裝Spark 2.1.0的任務，它在預裝了Ambari Spark 1.6.2的HDFS & YARN 2.7.3的集羣上。使用Ambari安裝spark 2.1.0 2.4.2.0

我的任務是安裝Spark 2.1.0，因爲它是與RSpark更好的兼容性的最新版本。我在網上搜索了幾天，僅在AWS或Spark 2.1.0上找到了一些安裝指南。

如下： http://data-flair.training/blogs/install-deploy-run-spark-2-x-multi-node-cluster-step-by-step-guide/ 和http://spark.apache.org/docs/latest/building-spark.html。

但他們都沒有提到不同版本的Spark的干擾。由於我需要保持這個羣集運行，我想知道羣集的一些潛在威脅。

有沒有一些正確的方法來做這個安裝？非常感謝！

來源

2017-03-17 windsound

您正在使用哪種ambari堆棧以及哪個版本？ HDP，IOP，PHD等？你想讓Spark2由Ambari管理嗎？ – cjackson

是的，我想讓Ambari管理Spark2。實際上，我對Ambari來說是新手，不知道在哪裏可以找到HDP，IOP，PHD的所有版本，你能告訴我一個方法嗎？非常感謝！ – windsound

登錄ambari，點擊右上角的管理按鈕，選擇堆棧和版本，點擊版本標籤。它會告訴你什麼堆棧和你當前使用的版本。 – cjackson

如果你想讓Ambari管理SPARK2安裝，那麼SPARK2必須由Ambari提供。

HDP 2.5.3 does 不支持支持Spark 2.1.0，但它確實帶有Spark 2.0.0的技術預覽版。

的選項有：

手動安裝星火2.1.0，而不是交由Ambari管理
使用星火2.0.0，而不是星火2.1.0這是由HDP 2.5.3
使用不同的堆棧。即。 IBM開放平臺（IOP）4.3計劃於2017年發佈，它將支持Spark 2.1.0。您現在可以使用technical preview release開始使用它。
升級支持Spark 2.1的HDP（2.6）。
擴展HDP 2.5堆棧以支持Spark 2.1.0。您可以看到如何自定義和擴展wiki上的ambari堆棧。這會讓你使用Spark 2.1.0，並讓它由ambari管理。然而，這將是很多工作要執行的，因爲你是Ambari新手，這將是相當困難的。

來源

2017-03-21 14:34:43 cjackson

太謝謝你了！這真的讓我走了一條路，你知道谷歌搜索沒有真正相關的東西。 :) – windsound

另外，我想知道手動安裝Spark 2.1.0有多困難，而不是由Ambari管理。這種行爲會毀掉Ambari系統嗎？在Ambari軟件包以前的安裝中，Spark 2.1.0與Spark 1.6.0相沖突嗎？ – windsound

我知道可以讓它們像Cloudera一樣共存。但是我不確定要在Ambari提供的平臺上使它們共存而不會導致問題，需要採取哪些措施。有一些HDP文檔可用於安裝了Spark 1.6和Spark 2.0的羣集：https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_spark-component-guide/content/spark- choose-version.html – cjackson

使用Ambari安裝spark 2.1.0 2.4.2.0

回答

相關問題