使用spark-ec2更改hadoop版本

Question

我想知道在由spark-ec2創建羣集時是否可以更改hadoop版本？

我試圖

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster 

然後我用

spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster 

登錄並發現了Hadoop的版本是1.0.4。

我想使用2.x版本的hadoop，配置這個最好的方法是什麼？

Answer 1

的Hadoop 2.0

spark-ec2腳本不支持修改現有羣集，但你可以創建用Hadoop 2.

一個新的Spark集羣由參閱此摘錄腳本的--help：

--hadoop-major-version=HADOOP_MAJOR_VERSION 
        Major version of Hadoop (default: 1) 

因此，例如：

spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 --hadoop-major-version=2 launch my-spark-cluster 

..will如果使用星火v如果使用和火花的當前版本的Hadoop 2.

你創建一個集羣。1.3.1或火花訴1.4.0和將創建一個獨立羣集，那麼您將通過這種方式獲得Hadoop v. 2.0.0 MR1（來自Cloudera Hadoop Platform 4.2.0發行版）。

的告誡是：

• 一些功能還不支持用，因爲錯誤的這個版本的Hadoop - for example there is a problem with using Tachyon，
• 雖然在星火1.4.0 you can create a YARN cluster using spark-ec2其[不是理論記錄]截至2015年6月，我們嘗試使用它已失敗，

..但我有成功使用了幾個使用Hadoop 2.0.0創建的Spark 1.2.0和1.3.1集羣，並使用了一些Hadoop2特有的功能。 （對於星火1.2.0有一些調整，我已經把我的Spark和spark-ec2叉，但這是另一個故事。）

Hadoop的2.4，2.6

如果您需要Hadoop 2.4或Hadoop 2.6那麼我現在（截至2015年6月）建議您手動創建獨立羣集 - 它比您想象的要容易。