mapred-site.xml在Hadoop 2中完全沒有用YARN

Question

我從許多Hadoop相關頁面發現Hadoop 2中有很多mapred-site配置不再工作，而是使用了yarn-site.xml。但如果是這樣，爲什麼仍然保持mapred-site.xml？

Answer 1

對於Hadoop v2，mapred-site.xml仍在使用中。您有一個名爲mapreduce.framework.name新的屬性，它的值是用於執行MapReduce作業的運行時框架，它可以當地的之一，經典或紗。如果您使用本地，則映射程序和Reducer進程將在同一個JVM中執行，通常爲了調試目的而執行此操作（只有一個Reducer可以通過本地運行時啓動）。如果您使用經典傳統MR v1將會起作用，如果您提到紗線，則MR v2將起作用。

當您將YARN運行時用於MapReduce作業時，映射器和reducer進程將在容器中生成，mapred-site.xml文件可用於爲mapreduce容器指定系統資源（例如內存和v-cpu）。請記住，容器的內存和v-cpu的上限是在yarn-site.xml中設置的。看看mapred-site.xml中的以下屬性。

• mapreduce.map.memory.mb
• mapreduce.map.cpu.vcores
• mapreduce.reduce.memory.mb
• mapreduce.reduce.cpu.vcores

mapred-site.xml

yarn-site.xml

Answer 2

mapred-site.xml仍在使用中。查看所有默認值here。

查看here以獲取Hadoop V2中的新屬性，取代Hadoop V1的棄用屬性。

幾個例子：

mapred.map.child.env \t mapreduce.map.env 
 
mapred.map.child.java.opts \t mapreduce.map.java.opts 
 
mapred.map.child.log.level \t mapreduce.map.log.level 
 
mapred.map.max.attempts \t mapreduce.map.maxattempts 
 
mapred.map.output.compression.codec \t mapreduce.map.output.compress.codec 
 
mapred.mapoutput.key.class \t mapreduce.map.output.key.class 
 
mapred.mapoutput.value.class \t mapreduce.map.output.value.class 
 
mapred.mapper.regex.group \t mapreduce.mapper.regexmapper..group 
 
mapred.mapper.regex \t mapreduce.mapper.regex 
 
mapred.map.task.debug.script \t mapreduce.map.debug.script 
 
mapred.map.tasks \t mapreduce.job.maps