hadoop中的公平調度

Question

在多節點設置（主 - 從）中配置公平調度時，應該在mapred-site.xml中爲兩個節點還是僅在主節點中定義屬性？ 謝謝。

Answer 1

通常，您不應該需要在多個位置定義屬性。如果需要，Hadoop會自動將mapred-site.xml文件複製到從站。

如果您在本地運行，則需要編輯HADOOP_CONF_DIR/mapred-site.xml。

如果您正在亞馬遜的EMR羣集上運行，那麼儘管集羣本身可以提供此配置文件作爲引導操作，並且它將被複制到所有節點中。它可以使用CLI如下進行：

ruby elastic-mapreduce --create --alive --plain-output --master-instance-type m1.xlarge -- 
slave-instance-type m1.xlarge --num-instances 11 --name "Cluster name" --bootstrap-action 
s3://elasticmapreduce/bootstrap-actions/configure-hadoop --args "--mapred-config-file, 
s3://<path-to-conf>/mapred-site-edited.xml" 

所以基本上每個節點的Hadoop應該有它自己的配置，但你不應該需要手動將它複製到他們每個人。