並行執行mapreduce作業

我有問題。我可以與JobCntrol同時在hadoop中執行兩項或多項工作嗎？我有2個可以並行執行的工作，其他工作對這兩個工作有依賴關係嗎？我怎麼用JobControl做到這一點？當我使用它時，它會給出錯誤： java.lang.IllegalStateException：作業處於RUNNING狀態而不是DEFINE並行執行mapreduce作業

來源

2013-10-10 Anse danesh

當您想要並行執行作業時，不需要JobControl。只需使用JobClient.runJob() API提交作業即可。有一個簡單的DAG作業時使用JobControl。

來源

2013-10-10 10:53:00

非常感謝回覆..和另一個問題..我想知道什麼是鏈接作業？我的意思是chainMapper和chainReducer。 –

@ Anse danesh：爲了瞭解鏈接工作，我寫了一篇博客：http://www.unmeshasreeveni.blogspot.in/2014/04/chaining-jobs-in-hadoop-mapreduce.html –

並行執行mapreduce作業

回答

相關問題