我想連鎖2 Map/Reduce作業。我正在嘗試使用JobControl來實現相同。我的問題是 -Hadoop地圖/減少鏈接
JobControl需要org.apache.hadoop.mapred.jobcontrol.Job，這反過來需要org.apache.hadoop.mapred.JobConf，它已被棄用。我如何解決這個問題來鏈接我的Map/Reduce？
任何人有任何更好的想法鏈接（除了級聯）。
感謝， 中號
你可以使用Riffle，它可以讓你隨心所欲鏈流程在一起（任何你堅持其註釋）。
它有一個基本的依賴調度程序，所以它會爲你排序和執行你的工作。它是Apache許可的。如果你是maven用戶，它也在Conjars repo上。
我是作者，並且寫了它，所以Mahout和其他自定義應用程序可以有一個共同的工具，它也與Cascading Flows兼容。
我也是Cascading的作者。但是，對於大多數原始MR作業鏈，Cascading中的MapReduceFlow + Cascade可以很好地工作。
Cloudera公司有一個名爲Oozie工作流工具，可以用這種鏈接的幫助。可能只是爲了讓一份工作接踵而至。
我有同樣的問題，我想知道你做了什麼來解決這個問題？我最好只喜歡使用hadoop包而不是使用一個新的（和不棄用的類:)） – 2011-01-21 18:29:37
我結束了沒有使用任何鏈接..原來我正在複雜化我的問題..然而，我沒有訴諸使用不推薦使用的JobConf執行不同的任務，因爲我無法以任何其他方式訪問任務日誌。 – Meg 2011-01-27 00:54:01
你爲什麼不分享你的解決方案？回答你自己的問題，並接受答案作爲你的問題的答案。 – Gumbo 2011-03-14 07:38:08