1

我試圖在Amazon Elastic MapReduce上使用hadoop,其中有數千個地圖任務要執行。如果有一小部分任務失敗,我確定,但是,亞馬遜關閉了這項工作,並在第一個映射器失敗時失去了所有結果。有沒有可用於增加允許的失敗作業數量的設置?謝謝。允許多個hadoop/EMR任務在關閉之前失敗

回答

3

這裏的答案Hadoop的:

Is there any property to define failed mapper threshold

要使用上述電子病歷中描述的設置,看一下:

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

具體而言,您創建一個XML文件(配置。 xml在示例中)與您想要更改並應用引導操作的設置:

./ela stic-mapreduce --create \ --bootstrap-action s3:// elasticmapreduce/bootstrap-actions/configure-hadoop \ --args「-M,s3://myawsbucket/config.xml」

相關問題