airflow

0熱度

4回答

在Airflow Web界面中，我可以查看DAG的列表。如果點擊其中一個DAG，我可以看到DAG的不同視圖或DAG的代碼，並且在詳細信息選項卡中，我可以看到DAG文件的名稱，但不能顯示路徑。我也試過airflow list-dags但這並沒有提供我正在尋找的信息。有一個DAG，我可以在Web界面中看到，但我無法找到它在文件系統中的位置。是否有方法從Airflow Web界面或Airflow

0熱度

1回答

使用氣流JDBC連接連接到Teradata

我試圖在連接到Teradata數據庫的Airflow中執行SqlSensor任務。將連接配置如下：我已經提供通過分離特定的2條驅動程序路徑「」但我不知道這是否是這樣做的正確方法？ /home/airflow/java_sample/tdgssconfig.jar /home/airflow/java_sample/terajdbc4.jar 當DAG執行時，它會觸發錯誤消息 [2017-08-0

2熱度

1回答

在不同的Docker容器中運行芹菜工人的氣流設置？

我正在碼頭集裝箱中運行氣流。我創建了一個單獨的容器來運行Postgres服務器和Rabbitmq服務器，使用docker網絡連接這些容器 - 通過遵循這個不錯的article。現在我的氣流碼頭集裝箱正在運行，並使用碼頭網絡連接到其他集裝箱 - 迄今爲止流程非常流暢。問題是如何在同一個容器中運行airflow webserver，airflow scheduler和airflow worker。經過

3熱度

1回答

氣流運行從UI，KeyError異常任務：沒有這樣的運輸

與芹菜氣流CFG設置爲： broker_url = 'amqp://guest:[email protected]_server:8080' celery_result_backend = db+postgresql://developer:[email protected]_server:5432/db_name 的airflow webserver運行正常，但在運行從氣流UI任務我得到

4熱度

2回答

運行氣流工作者給出錯誤：地址已在使用

我正在使用CeleryExecutor運行氣流。我能夠運行命令airflow webserver和airflow scheduler，但試圖運行airflow worker給出錯誤：socket.error：[Errno 98]地址已在使用。回溯：

0熱度

1回答

Airflow Scheduler給出錯誤KeyError：'getpwuid（）：uid not found

運行docker容器後，使用特定用戶標識爲空氣流構建本地圖像，然後調度程序投訴超出主題錯誤。 File "/usr/lib64/python3.5/getpass.py", line 170, in getuser return pwd.getpwuid(os.getuid())[0] KeyError: 'getpwuid(): uid not found: 1000' 任何人都

0熱度

1回答

不管下游發生什麼，氣流任務都會運行

我在一個DAG中有三個任務。任務A先運行。如果任務A成功，則任務B運行。我有任務C在任務B後運行，但它不依賴任務B或任務A成功或失敗。任務C需要不管發生在任務A和B上的情況如何。但是，它需要在任務A和B完成之後運行。有什麼想法？

7熱度

3回答

氣流：日誌文件不是本地的，不支持遠程日誌位置

我沒能看到連接到從氣流中UI的任務日誌：在airflow.cfg文件登錄相關的設置： remote_base_log_folder = base_log_folder = /home/my_projects/ksaprice_project/airflow/logs worker_log_server_port = 8793 child_process_log_directory = /home

5熱度

1回答

氣流工人不聽默認我已經配置了RabbitMQ的經紀人，服務氣流的RabbitMQ隊列

： airflow worker airflow scheduler airflow webserver 都沒有任何錯誤運行。調度正在推動的任務就default RabbitMQ的執行隊列：即使我嘗試airflow worker -q=default - 工人仍沒有收到運行的任務。我airflow.cfg設置文件： [core] # The home folder for airflo

0熱度

1回答

部署如何與Airflow協同工作？

我正在使用芹菜執行器和此dockerfile的設置。我正在將我的dag部署到/usr/local/airflow/dags目錄到調度程序的容器中。我能夠用命令來運行我的DAG： $ docker exec airflow_webserver_1 airflow backfill mydag -s 2016-01-01 -e 2016-02-01 我DAG包含一個簡單的bash操作： Bas