隨機誤差的MapReduce：在洗牌錯誤本地提取器

Question

我應該在哪裏尋找糾正洗牌錯誤。我檢查了yarn-site.xml。我正在運行一個集羣。我試圖四處尋找，但找不到任何有用的東西。

紗線的site.xml

<configuration> 

<!-- Site specific YARN configuration properties --> 

<property> 
<name>yarn.nodemanager.aux-services </name> 
<value>mapreduce.shuffle </value> 
</property> 

<property> 
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class </name> 
<value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property> 

<property> 
<name>yarn.resourcemanager.resource-tracker.address</name> 
<value>slave5:8031</value> 
</property> 
<property> 
<name>yarn.resourcemanager.scheduler.address</name> 
<value>slave5:8030</value> 
</property> 
<property> 
<name>yarn.resourcemanager.address</name> 
<value>slave5:8032</value> 
</property> 



</configuration> 

Answer 1

刪除有關從核心-site.xml中臨時文件的配置。這個答案幫了我。

https://stackoverflow.com/a/11035183/5380111

這樣從核心site.xml中刪除的內容： -

<property> 
    <name>hadoop.tmp.dir</name> 
    <value>/app/hadoop/tmp</value> 
</property>