將Apache Spark版本從1.6升級到2.0

Question

目前我已安裝Spark版本1.6.2。

我想升級版的Spark到最新的2.0.1。我如何在不丟失現有配置的情況下做到這一點？

任何幫助，將不勝感激。

Answer 1

如果它的行家或SBT應用程序，您只需按2.0這樣你就不會失去你的配置改變點火的依賴版本，並遷移您的代碼。對於spark二進制文件，你可以取得config文件夾的備份。

Answer 2

有相關的配置沒有太大的變化，一些方法簽名變了，我觀察到的主要變化是mapPartitions方法簽名和一些變化的度量/監聽器API，除了新功能。