apache-airflow

10熱度

2回答

從氣流文檔： SubDAGs must have a schedule and be enabled. If the SubDAG’s schedule is set to None or @once, the SubDAG will succeed without having done anything 我明白subdagoperator作爲一個BackfillJob實際實現的，因此，我們

5熱度

1回答

氣流管理UI顯示示例dags

我想在本地系統上設置Airflow。我已經使用： export AIRFLOW_HOME=~/Documents/Project/airflow 然後我就初始化氣流DB通過 airflow initdb 然後我用開始氣流Web服務器： airflow webserver -p 8080 現在，當我打開本地主機：8080，管理員面板顯示來自的示例dag /usr/local/lib/p

1熱度

1回答

氣流任務沒有被觸發

我正在調度dag並顯示處於運行狀態，但任務沒有被觸發.Airflow調度程序和Web服務器已啓動並正在運行。我在界面上將Dag切換爲ON。我仍然無法解決問題。我正在使用CeleryExecutor嘗試更改爲SequentialExecutor，但沒有運氣。

1熱度

2回答

沒有網絡服務器刷新dag重啓apache airflow

有什麼辦法可以在不重啓服務器的情況下實現作業嗎？

2熱度

1回答

使用Airflow運行.EXE和Powershell任務

我們的系統基本上只是運行C＃和Powershell應用程序以及MS SQL Server的Windows服務器。我們有一個內部的WorkflowManagement解決方案，能夠運行執行EXE/BAT/PS1的任務，甚至可以調用DLL函數。現在我正在評估Apache Airflow是否是更好的解決方案。我迄今爲止的天真計劃是在Linux機器上運行氣流調度程序，然後讓消費者在Windows機器上運

8熱度

1回答

如何停止/終止UI中的氣流任務

如何在Airflow UI上停止/終止正在運行的任務？我正在使用LocalExecutor。即使我使用CeleryExecutor，我該如何殺死/停止正在運行的任務？

0熱度

1回答

未來的氣流DAGs計劃

我想弄清楚如何配置/計劃一個氣流DAG在確切的時間每天運行兩次，而不是在符合標準的同時運行兩次。我想在午夜和晚上9點運行相同的任務。爲此，我添加了一個cron到schedule_interval像0 0,21 * * *，所以它每天在午夜和晚上9點運行。但是今天（4月27日）的運行時間爲昨天（4月26日）的00:00:00，並且00:00:00和21:00:00同時運行。預期行爲將於今天（4

0熱度

1回答

在Airflow UI中，我可以添加aws連接嗎？

在這個example，我看到EmrCreateJobFlowOperator接收是建立在氣流UI的AWS/EMR連接： cluster_creator = EmrCreateJobFlowOperator( task_id='create_job_flow', job_flow_overrides=JOB_FLOW_OVERRIDES, aws_conn_id='aws

1熱度

1回答

如何將ds變量傳遞給dag中的函數？

我想傳遞變量{{ds}}中的執行日期。但是，我通過一個函數傳遞它，它沒有得到執行日期。 def get_spark_step_2(date): #logic in here return step exec_date = '{{ ds }}' step_adder2 = EmrAddStepsOperator( task_id='create_parquet

0熱度

1回答

Airflow如何連接到Spark，並且可以爲Airflow中的用戶設置不同的訪問權限？

嗨，我還是新來的氣流。我想知道Airflow如何連接到Spark？我有一臺服務器與不同的帳戶（或配置文件）來訪問Spark羣集。我不知道Airflow是否有固定的配置文件來連接火花？或者它遵循用戶配置文件？另外，是否有可能爲Airflow中的用戶設置不同的訪問權限？例如，有權訪問Spark（或hdfs）中的位置A的用戶A只能運行與位置A有關的任務（因此無法從位置B運行任何作業） Thanks