如果驅動程序崩潰，則終止MapReduce作業

Question

我有一個驅動程序在Hadoop 2.4.0上使用org.apache.hadoop.mapreduce.Job.waitForCompletion（boolean）啓動MapReduce作業。我遇到的問題是，如果驅動程序在作業過程中崩潰，作業將繼續運行。如果驅動程序崩潰，是否有辦法殺死啓動的MapReduce作業？驅動程序崩潰是不是我的控制之下。我猜測這需要客戶和工作人員定期輪詢對方。 API中有這樣的設置或方法嗎？

Answer 1

您可以在yarn webUI中找到您的applicationId（jobId），也可以在羣集的yarn resource manager節點中鍵入yarn application -list。您可以使用kill命令來殺死該應用程序ID：yarn application -kill <applicationId>。我想這會解決你的問題。