Amazon（EMR）使用哪個Hadoop版本？

Question

我想創建一個Hadoop作業並在EC2 Map Reduce上運行它。 另外我想在上傳到EC2之前在本地運行此作業。

我應該在本地使用哪個版本的Hadoop？我可以使用Cloudera VM嗎？ Amazon使用哪個Hadoop版本？

Answer 1

Amazon Elastic MapReduce支持Hadoop 0.18,0.20和0.20.205（http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EnvironmentConfig_AMIVersion.html#ami-versions-supported）。

您可以指定要運行哪一個。你不能選擇Cloudera;您可以在EC2上運行原始實例並設置您自己的Cloudera集羣。

本地運行與EMR無關;只需以僞分佈式模式設置Hadoop集羣進行測試即可。

Answer 2

最近亞馬遜還增加了MAPR M3和M5支持：

http://aws.amazon.com/elasticmapreduce/mapr/

您可以通過以下鏈接下載MAPR二進制文件：

http://www.mapr.com/products/download/download-mapr-on-premise

無恥插頭：在Axemblr.com我們在多雲基礎上構建基於Cloudera Manager目標的Amazon EMR的替代方案。如果您想提早接受，請發郵件至hello@axemblr.com。

Answer 3

Amazon EMR現在使用Hadoop 2.4.0。更新的信息在： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html