airflow-scheduler

1熱度

1回答

我想傳遞變量{{ds}}中的執行日期。但是，我通過一個函數傳遞它，它沒有得到執行日期。 def get_spark_step_2(date): #logic in here return step exec_date = '{{ ds }}' step_adder2 = EmrAddStepsOperator( task_id='create_parquet

0熱度

1回答

Airflow如何連接到Spark，並且可以爲Airflow中的用戶設置不同的訪問權限？

嗨，我還是新來的氣流。我想知道Airflow如何連接到Spark？我有一臺服務器與不同的帳戶（或配置文件）來訪問Spark羣集。我不知道Airflow是否有固定的配置文件來連接火花？或者它遵循用戶配置文件？另外，是否有可能爲Airflow中的用戶設置不同的訪問權限？例如，有權訪問Spark（或hdfs）中的位置A的用戶A只能運行與位置A有關的任務（因此無法從位置B運行任何作業） Thanks

0熱度

1回答

氣流不滿足任務依賴關係

我有一個簡單的氣流工作流程，由兩個任務組成。其中一個會下載包含庫存數據的csv文件。另一個提取最大股價並將數據寫入另一個文件。如果我運行第一個任務，然後第二個一切工作正常，而不是如果執行：airflow運行stocks_d get_max_share它無法滿足依賴項。 import csv from datetime import datetime from datetime import

1熱度

1回答

氣流 - 是否可以使用回填命令一次（按順序）運行一天？

基本上，我想運行一個月的回填命令。但是有一些任務取決於前一天的數據。據我所知，這個命令每天都在同一時間運行。 airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31 有沒有辦法使回填命令一次運行一天（按順序）？乾杯。

2熱度

3回答

氣流取消暫停DAG編程？

我有，我們將部署到多個不同的氣流情況，並在我們的airflow.cfg我們dags_are_paused_at_creation = True但對於這個特定的DAG我們希望它被打開，而無需通過點擊UI人工手動做一個DAG。有沒有辦法做到這一點編程？