1
有沒有辦法跳過一個失敗的地圖作業而不是殺死整個作業？我有成千上萬的地圖工作都運行良好，總是有這個令人討厭的最後地圖工作，永遠需要並最終殺死大工作。跳過失敗的地圖作業
有沒有一種方法來設置要麼喜歡「忽略失敗」的一般設置或可忽略不計的地圖的百分比？
我不是在尋找與數據的100％完美的效果，一個好的估計有95％的人完全足夠了。
A
回答
3
您可以使用（在新版本2.1.0 mapreduce.map.failures.maxpercent）和mapred.max.reduce.failures.percent屬性mapred.max.map.failures.percent來支配自己的工作失誤
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/DeprecatedProperties.html
相關問題
- 1. Hadoop地圖作業失敗，出現com.datastax.driver.core.exceptions.NoHostAvailableException
- 2. 作業失敗
- 3. Autosys作業失敗
- 4. Oozie作業失敗
- 5. SolrIndexerJob：java.lang.RuntimeException：作業失敗：
- 6. Gradle作業失敗
- 7. Oracle作業失敗
- 8. Nutch的：作業失敗
- 9. 計劃的作業失敗
- 10. Aerospike地圖操作失敗
- 11. Jenkins過濾了視圖 - 啓用失敗狀態的作業
- 12. rdd.checkpoint跳過火花作業
- 13. For循環跳過作業
- 14. Hbase批量加載 - 地圖減少作業失敗
- 15. cron作業失敗gae python
- 16. Laravel隊列失敗作業
- 17. Avro Mapreduce作業失敗org.apache.avro.AvroTypeException
- 18. Oozie作業提交失敗
- 19. EC2作業流失敗
- 20. 星火作業失敗
- 21. SQL代理作業失敗
- 22. Python cron作業失敗
- 23. SQL代理作業失敗
- 24. OOZIE：PIG作業執行失敗
- 25. 春XD sqoop作業失敗
- 26. 產生java.io.IOException：作業失敗
- 27. Flink失敗作業通知
- 28. SSIS計劃作業失敗
- 29. Jenkins DSL作業失敗
- 30. Python：有urllib跳過失敗的連接