假設你的氣流DAG沒有意義回填,這意味着在它運行一次之後,快速運行後續時間將毫無意義。如何防止回填充氣氣流?
例如,如果你從一些來源,僅每小時更新到數據庫,回填,發生在快速連續加載數據,也只是一次又一次地導入相同的數據。
當你實例化一個新的每小時任務時,這會特別惱人,並且它會在你指定的時間間隔開始運行之前運行N
錯過的每個小時的時間量,完成冗餘工作。
我能想到的唯一的解決辦法是什麼,他們專門在FAQ of the docs
防止建議我們建議不要使用動態值作爲起始日期,尤其是
datetime.now()
因爲它可以相當混亂。
有什麼辦法可以禁用DAG的回填,或者我應該這樣做嗎?
謝謝。這比LatestOnlyOperator更好。 – m0meni
我已經設置了catchup_by_default = False,但Airflow仍然回填作業。任何想法爲什麼?我正在運行版本1.8 –
@OllieGlass你確定你已經將它應用到了正確的容器中,我不知道你的設置是什麼,但這確實很重要。如果您不確定,您也可以嘗試將其應用於特定的DAG。 – sage88