在mapreduce中殺死帶有錯誤文件的映射器

Question

你好，我需要殺死包含錯誤文件的映射器。 當文件在映射器中被解析時，如果文件包含錯誤，它應該終止當前映射器並丟棄該文件。其他具有正確文件的映射器應該繼續，並且整個作業應該成功。

Answer 1

根據文件輸入格式，映射器可能會或可能不會一次處理整個文件。 通常，每個映射器將在時間處理Split。

如果有任何解析問題，您可以簡單地跳過處理記錄並從映射器返回。不需要殺死映射器。如果你殺死該映射器，MapReduce作業將失敗。

所以，只需跳過處理並從映射器返回。