Apache Spark的更新策略

Question

我想知道我安裝的Spark版本是如何依賴於我使用的spark-core（spark-sql，...）庫的版本。

例如：我從Spark 2看到，推薦使用DataFrame API（來自spark.ml）而不是RDD（來自spark.mllib）。我是否必須更新已安裝的Spark版本才能使用它，還是足夠使用新庫？

如何依賴已安裝的Spark版本庫？哪個庫版本適合火花安裝？

對不起，但這讓我困惑。

Answer 1

對於那些誰是interessted在相同： 不同庫告訴你用來編譯它斯卡拉版本：

• spark-core_2.10 - >斯卡拉2.10
• spark-core_2.11 - >斯卡拉2.11

庫的不同版本必須與已安裝的Spark版本匹配。