如何將新的DAG添加到Airflow？

我已經在名爲tutorial_2.py（實際上是airflow教程中提供的tutorial.py的副本，但dag_id更改爲tutorial_2）中定義了一個DAG。如何將新的DAG添加到Airflow？

當我看看我的默認，未修改airflow.cfg（位於~/airflow），我看到dags_folder設置爲/home/alex/airflow/dags。

我做cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py。現在我有一個dags文件夾匹配在airflow.cfg中設置的路徑，其中包含我之前創建的tutorial_2.py文件。

但是，當我運行airflow list_dags時，我只會得到與默認教程DAG相對應的名稱。

我想讓tutorial_2顯示在我的DAG列表中，以便我可以開始與之交互。 python tutorial_2.py和airflow resetdb都沒有導致它出現在列表中。

我該如何補救？

來源

2017-07-01 Aleksey Bilogur

我認爲這是因爲你還沒有出口AIRFLOW_HOME。試試看： AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dags。如果這不工作比兩步 export AIRFLOW_HOME="/home/alex/airflow/dags" airflow list_dags 我相信這應該工作。搏一搏？

來源

2017-07-01 00:40:28

這應該是正確的答案，需要提醒的是，你可能* *需要檢查和糾正'airflow_home'和' 'airflow.cfg'中的dags_folder'變量也是如此。我仍然不清楚爲什麼需要三個不同的變量。比照[這裏]（https://gitter.im/apache/incubator-airflow?at=59581e6c6ae41d5d33a61aae）。 –

在我的理解中，AIRFLOW_HOME應該鏈接到airflow.cfg的存儲目錄。然後，airflow.cfg可以應用並將dag目錄設置爲您放入的值。

重要的一點是：airflow.cfg是無用的，如果你的AIRFLOW_HOME沒有設置

來源

2017-07-03 06:24:43

恰恰是皮埃爾說的。^ –

如何將新的DAG添加到Airflow？

回答

相關問題