如何解決AWS EMR Spark和Zeppelin版本不匹配問題？

AWS EMR 5.0包含Spark: Spark 2.0.0 on Hadoop 2.7.2 YARN with Ganglia 3.7.2 and Zeppelin 0.6.1預包裝，但Zeppelin 0.6.1僅支持Spark 1.6.x.有沒有辦法解決版本差異而無需構建和部署定製版本的Zeppelin？如何解決AWS EMR Spark和Zeppelin版本不匹配問題？

來源

2016-09-20 SergeyB

emr-5.0.0上定製的Zeppelin版本適用於Spark 2.0。

來源

2016-09-21 02:42:38 spew

相同。在EMR 5.0上運行Zeppelin和spark 2.0並沒有問題（包括pyspark和spark） – Niros

注意：emr-5.0.0上的Zeppelin版本是0.6.1-SNAPSHOT，因爲0.6.1版本在emr- 5.0.0即將發佈。然而，emr-5.0.0發佈的0.6.1-SNAPSHOT版本與最終發佈的版本0.6.1相差不遠，並且它支持Spark 2.0。 –

另外，Zeppelin 0.6.1正式版在emr-4.8.0發佈（在emr-5.0.0發佈之後的一段時間），Zeppelin 0.6.1將在emr-5.x的下一個版本中發佈當它出來。 –

這是不正確的。 Zeppelin 0.6.1是第一個支持Spark 2.0.0的版本。

來源

2016-09-21 10:19:22

請注意，與EMR 5.0.0一起發貨的zeppelin 0.6.1-SNAPSHOT有問題，僅部分支持spark 2.0。特別是，UDF不起作用。這在齊柏林0.6.2中得到了解決 – conradlee

如何解決AWS EMR Spark和Zeppelin版本不匹配問題？

回答

相關問題