hadoop：如何增加失敗任務的限制

我想運行一個任務，以便所有任務失敗都被記錄下來，否則將被忽略（基本上是爲了測試我的輸入）。現在，當任務失敗時，我會得到「失敗的地圖任務超出允許限制的數量」。我該如何增加限制？hadoop：如何增加失敗任務的限制

我用的Hadoop 1.2.1

2013-12-13 IttayD

指定mapred.max.map.failures.percent和mapred.max.reduce.failures.percent在mapred-site.xml中來指定故障閾值。兩者都設置爲0.有關更多詳細信息，請查看JobConf.java的代碼。

2013-12-13 12:27:25

爲了設置增加MapTasks的極限嘗試添加以下在mapred-site.xml文件。

<property> 
    <name>mapred.tasktracker.map.tasks.maximum</name> 
    <value>{cores}</value> 
</property>

這將使MapTasks的數量設置爲最大值。代替{cores}，您應該替換您擁有的核心值。將此值設置爲可用核心的精確值並不合適。如果您有任何問題，請告訴我。

希望這會有所幫助。

Happy Hadooping !!!

2013-12-13 09:24:15 user1188611

該查詢不是關於增加每個任務跟蹤器的映射/減少任務的數量。 –

對此我很抱歉。謝謝你指出。 – user1188611

回答