氣流：已排隊但未運行的任務

我是新來氣流並嘗試設置氣流來運行ETL管道。我能夠安裝氣流：已排隊但未運行的任務

氣流
Postgres的
芹菜
的RabbitMQ

我能夠試運行turtorial DAG。當我嘗試安排這些作業時，調度程序能夠將其選中並將我可以在UI上看到的作業排隊，但任務未運行。有人能幫我解決這個問題嗎？我相信我錯過了這裏最基本的氣流概念。下面是airflow.cfg

這裏是我的配置文件：

[core] 

airflow_home = /root/airflow 

dags_folder = /root/airflow/dags 

base_log_folder = /root/airflow/logs 

executor = CeleryExecutor 

sql_alchemy_conn = postgresql+psycopg2://xxxx.amazonaws.com:5432/airflow 

api_client = airflow.api.client.local_client 


[webserver] 


web_server_host = 0.0.0.0 

web_server_port = 8080 

web_server_worker_timeout = 120 

worker_refresh_batch_size = 1 

worker_refresh_interval = 30 

[celery] 

celery_app_name = airflow.executors.celery_executor 

celeryd_concurrency = 16 

worker_log_server_port = 8793 

broker_url = amqp://rabbit:[email protected]/rabbitmq_vhost 

celery_result_backend = db+postgresql+psycopg2://postgres:[email protected]:5432/airflow 


flower_host = 0.0.0.0 

flower_port = 5555 

default_queue = default

DAG：This is the tutorial dag i used

和我的DAG的開始日期是 - '開始日期'：日期時間（2017年，4， 11），

來源

2017-04-20 Deepak S

確保您的工作人員和調度共享相同的'celery_result_backend'，同樣的'dags_folder'和相同的'broker_url' – jhnclvr

@勒·霍夫曼我確信芹菜結果後端，DAG文件夾和broker_url相同的調度和工人，並開始氣流工作人員......但它仍然是一樣的......工作即將進行但沒有任何運行 –

有你運行的所有氣流的三個組成部分，即：

airflow webserver 
airflow scheduler 
airflow worker

如果只運行前兩項，則任務將排隊，但不會執行。氣流工作人員將提供實際執行dag的工作人員。

也順便說一句，芹菜4.0.2目前不兼容氣流1.7或1.8。使用芹菜3代替。

來源

2017-04-21 21:39:16

非常感謝！我降低了芹菜。有用。 –

當然可以。我很高興這很有幫助。XD –

@XiaWang - 您能否指出任何支持文檔或其他證明芹菜4.0.2不兼容的文檔？在apache github repo setup.py中，芹菜版本> = 3.1.17 - 它並沒有告訴我們它是否被支持。 – Nick

我今天試着升級到airflow v1.8，並與芹菜和rabbitmq一起掙扎。什麼幫助來自librabbitmq的變化（這是在默認情況下只使用AMQP時使用）在airflow.cfg到pyamqp

broker_url = pyamqp://rabbit:[email protected]/rabbitmq_vhost

（這是我得到了這個想法：https://github.com/celery/celery/issues/3675）

來源

2017-04-26 17:52:41 Olaf

我知道你的問題已經得到解答，並與芹菜版本不匹配有關，但我也看到任務排隊並且從不運行，因爲我將日誌位置更改爲氣流服務用戶無權寫入的地方。

在該示例在上面的問題airflow.cfg給出： base_log_folder = /root/airflow/logs

我使用AWS EC2機和改變日誌寫入 base_log_folder = /mnt/airflow/logs

在UI沒有給出指示爲什麼任務排隊，它只是說「未知，所有依賴性都滿足......」給氣流守護進程/服務用戶寫入權限修復它。

來源

2017-12-08 13:37:02 Davos

氣流：已排隊但未運行的任務

回答

相關問題