MRJob - 限制任務嘗試次數

Question

在MyJob中，如何限制任務嘗試次數（如果任務失敗）？

我有很長時間的運行任務（相應地增加了超時時間），但是我希望在同一任務失敗兩次嘗試後結束作業，而不是4-5。

我不能在這個文檔中找到這樣的事：

http://mrjob.readthedocs.org/en/latest//en/latest/guides/configs-reference.html

Answer 1

在地圖的工作，你可以設置mapreduce.map.maxattempts在Hadoop中2.減少作業，設置mapreduce.reduce.maxattempts（source）。 Hadoop 1中的等效項爲：mapred.map.max.attempts和mapred.reduce.max.attempts。

如果您使用的是MRJob conf文件，你可以設置爲：

runners: 
    emr: 
     jobconf: 
      mapreduce.map.maxattempts: 2