0
我必須在hadoop 1.0.4許多（也許12個）作業中運行。我希望第一個並行運行，當所有完成並行運行4個其他作業並最後再次運行最後3個並行運行時。我如何在hadoop 1.0.4中設置它，因爲我發現所有作業都互相運行而不是並行運行。並行映射減少Hadoop中的作業
A
回答
2
JobControl API可用於MR作業依賴性。對於複雜的工作流程，推薦使用Oozie或Azkaban。 Here是Oozie與Azkaban，
+0
在我的情況下，我可以用戶的JobControl，這似乎很容易被使用？ – 2013-04-10 13:13:25
+0
使用JobControl API必須使用命令job.waitForCompletion（true）;每個作業結束後還是從JobControl自動完成？ – 2013-04-11 10:54:38
+1
我有消息工作在狀態RUNNING而不是DEFINE – 2013-04-11 10:57:27
相關問題
- 1. Hadoop排序映射並減少鍵值
- 2. 分離Hadoop映射並減少任務
- 3. Hadoop YARN作業在地圖0％處減少並減少0％
- 4. Hadoop Streaming作業中並行映射器任務的數量
- 5. 處理小文件映射減少hadoop
- 6. Mongodb併發映射減少
- 7. 使用Hadoop和HBase減少一個映射然後減少
- 8. 在Haskell中實現高效的並行映射並減少
- 9. 映射並減少返回的NAN值
- 10. Mongodb映射減少與Apache Spark映射減少
- 11. Hadoop 2.5.1作業卡在地圖0％並減少0％
- 12. Hadoop地圖減少例子卡住正在運行的作業
- 13. 在Hadoop中映射和減少class屬性
- 14. 如何強制hadoop運行超過1個減少作業
- 15. Hadoop map減少移除小於或大於映射器的值
- 16. Hadoop的一個映射和多個減少
- 17. 迭代映射減少作業。如何減少輸出量並將其輸送到下一個階段？
- 18. 排隊和映射/減少
- 19. MongoDB：映射沒有減少？
- 20. 限制hadoop配置單元映射作業的最大減速器的能力？
- 21. 同步hadoop中的多個地圖減少作業
- 22. MongoDB中嵌套值的映射減少
- 23. Javascript/JQuery中的異步映射/減少
- 24. 運行映射器在一個Hadoop作業
- 25. Hadoop框架如何決定節點運行映射作業
- 26. Hadoop減少內存中的shuffle合併
- 27. 完成減少任務後Hadoop - 映射任務繼續
- 28. 將數據寫入Cassandra Hadoop映射器（不減少）
- 29. Hadoop將數據從映射器減少到組合器
- 30. WEKA類映射和減少KMeans階段在hadoop上聚類
使用oozie http://oozie.apache.org/ – banjara 2013-04-10 12:07:16