工作流工具兼容：Oozie Vs級聯

Question

我正在尋找一個工作流工具來運行復雜的map-reduce作業。我在考慮Oozie的同時也想探索Cascading。是否有示例代碼或示例使用級聯API鏈接現有的M/R作業？另外，你可以提供比較Oozie Vs級聯？

Answer 1

級聯和Oozie不在同一類別中。

Oozie是一個工作流調度程序。

級聯是一種用於創建工作流的API。它對調度程序是不可知的，即它應該與您使用的任何調度程序系統一起運行。

由於Oozie文檔提到了「DAG」，因此可能存在一些混淆，並且兩者都在Hadoop上運行。

此外，級聯在Oozie支持的檢查點支持中具有「數據可用性」的概念，儘管有所不同。

Answer 2

我個人玩的都在一定程度上，我發現與級聯有趣的是

1）簡潔，像流，自來水，管道等簡單的關鍵字方面的表現，

2）用於本地開發和研究的令人驚歎的基於TDD的方法

3）漂亮的計劃器視圖（.dot文件），一旦項目生長就會很有用，因此維護起來很簡單。

4）基於DSL的方法使用groovy，scala，cloujre。所以不需要擔心學習任何新的語言或hadoop。 5）簡單的雲部署（例如作爲原始jar部署的亞馬遜支持）。 6）你可以調用任何類似現有的豬或蜂巢或純粹的其他MR jar，只要它們暴露java api。 7）令人驚歎的ML和NLP相關作品。