將額外的芹菜配置添加到Airflow

Question

任何人都知道在哪裏可以將額外的芹菜配置添加到氣流芹菜執行器？例如我想http://docs.celeryproject.org/en/latest/userguide/configuration.html#worker-pool-restarts這個屬性，但我怎麼讓額外的芹菜屬性..

Answer 1

使用剛發佈的Airflow 1.9.0，這是現在可配置。

在airflow.cfg有這一行：

# Import path for celery configuration options 
celery_config_options = airflow.config_templates.default_celery.DEFAULT_CELERY_CONFIG 

指向從導入路徑Python文件。當前默認的版本可以爲https://github.com/apache/incubator-airflow/blob/1.9.0/airflow/config_templates/default_celery.py

如果你需要一個設置，是不是tweakable通過該文件，然後創建一個新的模塊，說「my_celery_config.py」：

CELERY_CONFIG = { 
    # .... 
} 

，並把它放在你的AIRFLOW_HOME目錄（即沿着dags /文件夾），然後在配置中設置celery_config_options = my_celery_config.CELERY_CONFIG。