azkaban

-1熱度

1回答

我有一個Spark Streaming作業，它使用spark-submit腳本手動運行。我想安排它每天運行。哪一個更好Azkaban，Airflow，Oozie，Crontab，Spark-jobserver，Quartz或Luigi。任何建議表示讚賞！

-1熱度

1回答

Azkaban：正在運行Azkaban執行程序服務器羣

是否可以在羣集中運行Azkaban執行程序服務程序？如果一個節點出現故障，那麼另一個節點可以啓動並運行預定的作業？我還沒有看到有關這種設置的任何文檔。我在某處讀的所有內容都是我們只能爲每個Web服務器運行一個Executor服務。但是一個理想的容錯架構應該是讓Web服務器和Executor服務器獨立運行。有沒有人處理過這種情況。請讓我知道，如果您有任何指針.. 感謝， Kranthi

0熱度

1回答

訪問Azkaban的「運行時屬性」

我一直在嘗試（沒有運氣）一個簡單的主題：訪問Azkaban的「全局」運行時屬性（據推測可用於流）。我嘗試過所有正常和不正常的方法，試圖從流中訪問它們，但無濟於事。有沒有人有一個具體的例子（請不要「揮手」）我如何訪問他們（甚至可能打印一個日誌文件）？順便說一句，在流程已經運行之後從另一個程序訪問它們不是問題（例如：REST API），但是我希望在運行期間獲取它們，以便創建日誌等等（此方法在運行時不起

3熱度

2回答

如何在Azkaban上使用Hive作業？

我想使用Azkaban進行週期性Hive作業，我已經瀏覽了Azkaban文檔，並且它似乎默認情況下不支持Hive作業，您知道我該如何使用這兩種作業？我認爲，我將不得不作爲Azkaban中的「命令工作」運行Hive作業，但也許有人已經完成了它。我曾經使用Oozie一段時間，但它沒有達到我的需要。謝謝。

0熱度

2回答

Apache Activiti工作流程執行是作爲一個單獨的流程或在Activiti流程中執行的

我一直在調查Azkaban和Apache Activiti作爲我們的工作流程用例之一。我所理解的是Azkaban內部的每項工作都是作爲一個單獨的過程運行，與Activiti相同，或者Activiti任務在Activiti主進程中運行的獨立線程。

0熱度

1回答

azkaban 3.0作業ID不更改

我正在嘗試使用Azkaban 3.0進行一些測試。目前，每當我啓動一個已經啓動的項目時，我都會遇到問題。因此，在爲新運行分配執行id之前，它將與用於上一次運行的最後一個執行id相同，這會導致作業不被執行。我很確定這是一個不正常的行爲，我試圖重新啓動azkaban，但問題仍然存在。有什麼建議麼？

1熱度

1回答

阿茲卡班流量參數

您如何爲每項工作設置流量參數？我正在嘗試配置自定義警報器，並希望每個作業都能觸發它。它看起來像是從流參數中尋找「alert.type」屬性，但現在我只能通過接口來觸發它。有任何想法嗎？

3熱度

1回答

Google Dataflow的工作流編排

我們正在使用Google Dataflow進行批量數據處理，並尋找一些類似於Azkaban爲Hadoop所做的工作流編排工具的選項。我們正在尋找的是關鍵的事情的東西，配置工作流程調度工作流程的監視和報警失敗流程能夠重新運行失敗的作業我們已經對Pentaho進行了評估，但是這些功能都可以在他們的企業版中獲得，這是易於使用的即我們目前正在評估Azkaban，因爲它支持javaproces