將新任務引入DAG時，氣流調度程序是否會重新運行先前的DAG運行？

Question

我有一個DAG定義，動態地將任務從配置到DAG，例如：

for k, v in config.iteritems(): 
    bash_task = BashOperator(task_id='{}_task'.format(k), ...) 
    ... 

如果我增加更多的項目config，將氣流調度重複運行所有的以前的工作，否則我將不得不手動（通過運行airflow scheduler或airflow backfill）？

Answer 1

調度程序不會檢查所有以前的DagRun的所有TaskInstances。如果在相關日期範圍內運行airflow backfill，則應該選取所有未完成的任務。

警告：沒有設置氣流，從DAG中刪除任務。您的數據庫可能會保留對不再有效任務ID的引用，並且Airflow可能會拒絕對該DAG執行任何操作，直到任務恢復或DAG中的所有其他TaskInstances被刪除。