覆蓋默認的jvm複用值

Question

我們在hadoop的mapred-site.xml中將mapred.job.reuse.jvm.num.tasks設置爲-1（即，無限制地重複使用jvm）。但我想在我的一個mapred作業中覆蓋這個屬性。是否有可能只爲一個工作覆蓋這個值爲1。

Answer 1

您可以覆蓋在各個configuration.xml文件中未標記爲final的任何屬性。要做到這一點

1. 將命令行參數傳遞給-D property_name=value。

2. 或者通過配置在您

   mapred工作

   Configuration.set（ 「PROPERTY_NAME」， 「值」）;

Answer 2

你可以使用公共無效setNumTasksToExecutePerJvm（INT numTasks）。它允許我們設置派生任務JVM在退出之前應該運行的任務數量