之前,你可以通過設置最大的失敗百分比:如何在hadoop的新api中設置setMaxMapTaskFailuresPercent?
JobConf.setMaxMapTaskFailuresPercent(int)
,但現在,這是過時的。
job.getConfiguration().set("mapred.max.map.failures.percent", "100");
似乎並沒有正常工作。在新的hadoop api中執行此操作的正確方法是什麼?
之前,你可以通過設置最大的失敗百分比:如何在hadoop的新api中設置setMaxMapTaskFailuresPercent?
JobConf.setMaxMapTaskFailuresPercent(int)
,但現在,這是過時的。
job.getConfiguration().set("mapred.max.map.failures.percent", "100");
似乎並沒有正常工作。在新的hadoop api中執行此操作的正確方法是什麼?
如果您想快速找到hadoop新API的選項的正確名稱,請使用此鏈接:http://pydoop.sourceforge.net/docs/examples/intro.html#hadoop-0-21-0-notes。
在1.0.2上,支持的選項列表在http://hadoop.apache.org/common/docs/r1.0.2/mapred-default.html中給出,您可以在運行map reduce作業時通過java -DoptionName = value作爲java系統屬性傳遞。
另外經由命令行來設置它們,請參閱
http://hadoop.apache.org/common/docs/r1.0.2/mapred_tutorial.html#Job+Configuration