ElasticMapReduce：每個EC2類型的映射器/縮減器的數量

我想知道基於您選擇的EC2服務器的實例類型，映射器和縮減器的數量是否會有所不同？我發現大型實例使用3個映射器和1個reducer。對於其他類型（例如，xLarge實例），這是否一樣？我知道我可以通過bootstraping覆蓋它，但只是想知道。ElasticMapReduce：每個EC2類型的映射器/縮減器的數量

來源

2013-08-21 kee

不，每個實例類型都不相同。亞馬遜有一個Hadoop默認配置的概念，由AMI版本控制，最新的一個是AMI-2.3。這些配置定義爲一些hadoop的配置的默認值，例如，用於一個m1.xlarge，以下配置默認設置的使用AMI-2.3

Parameter Value 
HADOOP_JOBTRACKER_HEAPSIZE 6912 
HADOOP_NAMENODE_HEAPSIZE 2304 
HADOOP_TASKTRACKER_HEAPSIZE 384 
HADOOP_DATANODE_HEAPSIZE 384 
mapred.child.java.opts -Xmx768m 
mapred.tasktracker.map.tasks.maximum 8 
mapred.tasktracker.reduce.tasks.maximum 3

有關詳細參閱以下內容： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/HadoopMemoryDefault_AMI2.3.html http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-config.html

來源

2013-08-21 09:09:34 Amar

確實我在EMR上運行了xLarge實例，發現每個實例有8個映射器和3個reducer。 – kee

爲ami類型默認的mappers/reducers數量，請參閱此鏈接：http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration.html – Alexander

ElasticMapReduce：每個EC2類型的映射器/縮減器的數量

回答

相關問題