允許多個hadoop/EMR任務在關閉之前失敗

Question

我試圖在Amazon Elastic MapReduce上使用hadoop，其中有數千個地圖任務要執行。如果有一小部分任務失敗，我確定，但是，亞馬遜關閉了這項工作，並在第一個映射器失敗時失去了所有結果。有沒有可用於增加允許的失敗作業數量的設置？謝謝。

Answer 1

這裏的答案Hadoop的：

Is there any property to define failed mapper threshold

要使用上述電子病歷中描述的設置，看一下：

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

具體而言，您創建一個XML文件（配置。 xml在示例中）與您想要更改並應用引導操作的設置：

./ela stic-mapreduce --create \ --bootstrap-action s3：// elasticmapreduce/bootstrap-actions/configure-hadoop \ --args「-M，s3：//myawsbucket/config.xml」