如何使用氣流與芹菜

Question

我是新來的氣流和芹菜，我已經完成繪製DAG了，但我想運行任務在兩臺計算機是在同一子網，我想知道如何修改airflow.cfg。一些例子可能會更好。感謝任何答案orz。

Answer 1

的Airflow documentation涵蓋這相當不錯：

首先，你需要一個芹菜後端。這可以是例如Redis或RabbitMQ。然後，您的airflow.cfg中的執行程序參數應設置爲CeleryExecutor。

然後，在airflow.cfg的celery部分，將broker_url設置爲指向您的芹菜後端（例如，redis：// your_redis_host：your_redis_port/1）。 點celery_result_backend到一個sql數據庫（你可以使用相同的主要氣流db）。

然後，在您的工人機器上，只需啓動氣流工作人員，並且您的工作應在兩臺機器上啓動。