爲單個MapReduce作業指定'mapreduce.jobtracker.hosts.filename'

已將少數節點添加到集羣。我的M/R作業在任何一個作業上執行時都會失敗。確切的原因尚不清楚，需要幾天才能找到解決方案，因此我正在尋找臨時解決方法。爲單個MapReduce作業指定'mapreduce.jobtracker.hosts.filename'

有沒有辦法在作業級別上排除這些節點（mapreduce.jobtracker.hosts.exclude.filename）？
或將舊的工作節點白名單（mapreduce.jobtracker.hosts.filename）？

您可以在以下屬性正好被設置爲2

<property> 
<name>mapred.max.tracker.failures</name> 
<value>2</value> 
</property>

，它將無法完成作業2次的節點上和其他人繼續在那裏

2017-07-10 17:20:57 shainnif

這不完全是一個回答我的問題，但我無論如何我都會加強它 - 增加'-D mapreduce.job.maxtaskfailures.per.tracker = 1'可以降低M/R任務嘗試使用有問題的節點的次數。 –

回答